如何修复'DataFrame'对象没有属性'coalesce'？

Question

在PySpark应用程序中，我试图通过将数据转换为pandas来转置数据帧，然后我想在csv文件中写入结果。我就是这样做的：

df = df.toPandas().set_index("s").transpose()
df.coalesce(1).write.option("header", True).option("delimiter", ",").csv('dataframe')

执行此脚本时，我收到以下错误：

'DataFrame' object has no attribute 'coalesce'

有什么问题？我该如何解决？

Answer 1

问题是您将spark数据帧转换为pandas数据帧。 pandas数据框没有coalesce方法。您可以查看pandas here的文档。

当您使用toPandas()时，数据框已经被收集并且在内存中， 尝试使用pandas dataframe方法df.to_csv(path)代替。