为了提高性能,现在应该有什么火花提交选项,现在出现堆内存问题

时间:2018-10-06 07:57:28

标签: apache-spark pyspark amazon-emr

我有1个驱动程序和6个核心实例,每个实例具有16GB内存和8个核心。 我正在使用以下选项运行spark-submit:

spark-submit --driver-memory 4g \
    --executor-memory 6g \
    --num-executors 12 \
    --executor-cores 2 \
    --conf spark.driver.maxResultSize=0 \
    --conf spark.network.timeout=800 job.py

我多次遇到Java堆内存错误,我认为选项有问题,有人可以帮助我解决这个问题。

谢谢

0 个答案:

没有答案