Spark Standalone集群只使用了两个工作者

时间:2017-11-20 08:21:07

标签: java apache-spark apache-spark-2.0 spark-submit apache-spark-standalone

在Spark Standalone Cluster中,只有6个工作者实例中的2个被利用,其余部分空闲。我使用了两个拥有4个内核的虚拟机。 2个工作人员在本地VM上(主人员已经启动),4个工作人员在另一个VM上。只有当地的两个被利用。我也尝试过与4名非本地工人一起运行,即使这样,其中只有2名被利用。我该怎么办?

这是spark-submit命令: -

./ spark-submit --master spark://10.234.17.101:7077 --class com.emc.pluto.rca.engine.Server --jars /root/rt.jar,/ root / ashwin / spark -core_2.10-2.2.0.jar我在spark-env.sh中指定了worker实例和内存 -

0 个答案:

没有答案