我有1个驱动程序和6个核心实例,每个实例具有16GB内存和8个核心。 我正在使用以下选项运行spark-submit:
spark-submit --driver-memory 4g \
--executor-memory 6g \
--num-executors 12 \
--executor-cores 2 \
--conf spark.driver.maxResultSize=0 \
--conf spark.network.timeout=800 job.py
我多次遇到Java堆内存错误,我认为选项有问题,有人可以帮助我解决这个问题。
谢谢