如何在databricks(scala,python等)中创建.tsv文件

时间:2018-12-27 08:05:23

标签: python scala databricks azure-databricks

请让我知道如何用databricks代码(scala,python)创建.tsv文件。

ex:.csv文件创建示例。

%scala

val df = spark.sql(“ SELECT * FROM Employee”)

df.write.format(“ csv”)。option(“ header”,true).option(“ inferSchema”,true).option(“ delimiter”,“ \ t”)。mode(SaveMode.Overwrite) .save(destinationFilePath)

1 个答案:

答案 0 :(得分:0)

导入org.apache.spark.sql.SparkSession

object Test1 {

  case class Person(name: String, age: Int)

  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("test").getOrCreate()
    import spark.implicits._

    val ds = Seq(Person("eiffel", 23), Person("eiffel", 24)).toDS()
    // val ds = spark.sql("select * from person")
    ds.repartition(1).write.csv("file:///home/eiffel/csv")
  }
}