如何使用pyspark将DataFrame保存为csv文件？

Question

为什么这种方法行不通？

from pyspark.sql import SparkSession

spark = SparkSession.builder.appName('session').getOrCreate()
df = spark.range(5).toDF("index")
filepath = r"C:/my_favorite_directory"
df.write.csv(filepath)

---

更新

上面的代码运行良好，问题是我没有指定hadoop二进制路径来引用winutils二进制，pyspark编写csv文件需要使用它。

Answer 1

您的文件路径应以.csv或文件扩展名结尾。您提供的是错误的目录