如何在R3 2X大型8节点群集中利用所有vcore

时间:2018-12-06 02:10:09

标签: performance apache-spark yarn spark-submit

我的火花工作仅使用了127个中的32个Vcore。请参考下图。 cluster_metrics

我的spark-submit命令是: spark-submit --executor-memory 12G --num-executors 32 --executor-cores 3 --conf spark.executor.memoryOverhead = 1.5g

如何调整spark-submit参数以利用集群中的所有可用资源。

0 个答案:

没有答案