将Spark DF写入HDFS

时间:2019-02-26 22:46:21

标签: apache-spark apache-spark-sql

我有一个拥有约500K条记录的DF:

org.apache.spark.sql.DataFrame

我正在尝试将DF写入HDFS文件夹:

someDF.write.format("com.databricks.spark.csv").option("header", "true").save("hdfs/path/my_folder")

我没有收到任何错误,但是文件夹中只有空文件。

对此问题有何建议?

0 个答案:

没有答案