在spark中将数据帧写入CSV

时间:2018-03-27 21:35:48

标签: apache-spark spark-dataframe

我正在使用以下代码

将火花数据帧写入CSV文件
println("Total number of reports: " + reportDf.count())
    reportDf
    .coalesce(1)
    .write.format("com.databricks.spark.csv")
    .csv("output/cluster.csv")

而o / p是:

Total number of reports: 48720
spark@monikatest:~/output/cluster.csv$ ll
total 12
drwxrwxr-x 2 spark spark 4096 Mar 27 20:56 ./
drwxrwxr-x 3 spark spark 4096 Mar 27 20:56 ../
-rw-r--r-- 1 spark spark    0 Mar 27 20:56 _SUCCESS
-rw-r--r-- 1 spark spark    8 Mar 27 20:56 ._SUCCESS.crc

没有数据写入文件,只有成功文件存在。

任何人都可以建议如何克服这个错误。

0 个答案:

没有答案