标签: performance apache-spark yarn spark-submit
我的火花工作仅使用了127个中的32个Vcore。请参考下图。
我的spark-submit命令是: spark-submit --executor-memory 12G --num-executors 32 --executor-cores 3 --conf spark.executor.memoryOverhead = 1.5g
如何调整spark-submit参数以利用集群中的所有可用资源。