pyspark-将数据帧写入csv的最快方法

时间:2019-04-23 14:06:54

标签: python-3.x csv pyspark pyspark-sql

我当前正在使用write.csv将数据帧写入 csv

 df.withColumn("x", col("x").cast("string")).write.csv(path="mycsv",sep=";")

但是当写入数百万行时(已经一天并且仍在运行),它非常慢。有什么方法可以使其更快?

0 个答案:

没有答案