Spark优化 - 为什么一个节点会承受所有压力?

时间:2018-06-11 09:25:30

标签: apache-spark pyspark apache-spark-ml spark-ui

我已经在4节点集群上提交了一份工作,我看到,大多数操作发生在其中一个工作节点上,而其他两个操作只是放松了。

下面的图片说明了 - enter image description here

如何正确分配负载?

我的群集conf(4节点群集[1个驱动程序; 3个从属]) -

核心 - 6 RAM - 12 GB 硬盘 - 60 GB

My Spark Submit命令如下 -

  

spark-submit --master spark://192.168.49.37:7077 --num-executors 3   --executor-cores 5 --executor-memory 4G /appdata/bblite-codebase/prima_diabetes_indians.py

如何解决问题?

0 个答案:

没有答案