如何使用它的标题将文本另存为数据框？

Question

我有从csv文件加载的数据框，我处理了dataframe.describe()操作，我想将结果保存为文本文件。

这是我的代码：

  data = spark.read.csv("iris.csv", header=True, sep=',')
  df = data.describe()
  df.rdd.map(lambda r: ",".join([str(c) for c in r])).coalesce(1).saveAsTextFile('describeResult')

问题在于，在处理saveAsTextfile操作时，收到的文件没有数据帧标题。如何修复它以保存整个数据帧，包括其标题？

Answer 1

csv dataframe writer也可以编写标题。

https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.sql.DataFrameWriter

df.write.option("header", "true").csv(...)

请注意，如果您的数据框为空，则不会写入标题。