Spark收集将内存增加30Gb

时间:2018-10-01 20:23:29

标签: apache-spark pyspark

在收集之前,我将数据帧保存到内存中,大小约为500Mb 但是当我收集数据时,发现驱动程序内存增加了30Gb,我不知道,有人可以建议

操作成功,我不明白为什么驱动程序上的500MB变为30GB。

0 个答案:

没有答案