标签： garbage-collection pyspark
我的pyspark出错，说GC收集器内存不足。 我读了一篇关于G1垃圾收集器的文章，所以我想尝试一下。 如何在pyspark应用程序中设置它？我无法找到任何指示..
谢谢！
答案 0 :(得分：0)
这里要记住的要点是垃圾收集的成本 与Java对象的数量成比例 这是开始...... 要通过spark see this和see this对其进行优化，以发现要使用的主要conf参数。
剩下的就是经验......