将pyspark中的数据框保存为csv

Question

我在pyspark中有一个数据框说df。

我想将数据框保存为csv中hive中的表。我在下面做了

df.write.saveAsTable("testing.test")

但是hive表数据显示该表是镶木地板格式。我想保存为CSV表格。我们怎么能这样做。

仅供参考我使用spark 1.6

Answer 1

您可以指定格式。

write.format（ 'CSV'）。模式（模式）可供选项（选项）.saveAsTable（表名）

即df.write.format（'csv'）。saveAsTable（'testing.test'）。

https://spark.apache.org/docs/preview/api/python/_modules/pyspark/sql/readwriter.html

Answer 2

如果您使用的是Spark 1.6，那么您需要使用databricks包。

以下是示例代码： -

df.coalesce(1).write.format("com.databricks.spark.csv").option("header", "true").save("testing.csv")