在磁盘上复制大火花Dataframe

时间:2018-02-06 14:12:00

标签: python apache-spark

我有一个大的Spark数据帧df,我需要在本地磁盘上写。

df.toPandas().to_csv()不起作用,因为这会消耗掉 太多的记忆。

如何拆分数据框并写下单个文件?

0 个答案:

没有答案