如何将Spark DF保存为CSV文件？

Question

我有一些Python代码可以遍历文件并创建数据框（DF）。另外，我正在将Python DF转换为Spark DF。效果很好。

# convert python df to spark df and export the spark df
spark_df = spark.createDataFrame(DF)

现在，我正在尝试将Spark DF另存为CSV文件。

## Write Frame out as Table
spark_df.write.mode("overwrite").save("dbfs:/rawdata/AAA.csv")

上面的代码可以运行，但是它不会创建CSV，或者至少我无法在期望的位置找到它。一定有办法做到这一点！请提供一些指导。谢谢。

Answer 1

Spark在写入数据帧时采用输出目录的路径而不是输出文件的路径，因此您提供的路径“ dbfs:/rawdata/AAA.csv ”将创建目录 AAA.csv 不是文件。您需要检查目录而不是文件。 在目录中，您将根据执行者的数量获得多个csv文件。