将pyspark.sql.dataframe.DataFrame转换为Pandas数据框

Question

我是Spark和python的新手。我得到了一个类型为pyspark.sql.dataframe.DataFrame的数据框，我正尝试转换为Pandas数据框。

尝试使用toPandas（）。但这没用

df2['centroid'].to_csv('data/data_cluster.csv', index=False)

错误消息：

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
sc = SparkContext()
sqlContext = SQLContext(sc)
data = sqlContext.read.text('filename')
df1 = data.toPandas()

对此表示感谢