我已经在4节点集群上提交了一份工作,我看到,大多数操作发生在其中一个工作节点上,而其他两个操作只是放松了。
如何正确分配负载?
我的群集conf(4节点群集[1个驱动程序; 3个从属]) -
核心 - 6 RAM - 12 GB 硬盘 - 60 GB
My Spark Submit命令如下 -
spark-submit --master spark://192.168.49.37:7077 --num-executors 3 --executor-cores 5 --executor-memory 4G /appdata/bblite-codebase/prima_diabetes_indians.py
如何解决问题?