Apache spark 1.2.1 Standalone cluster中的剂量，'执行者数量等于SPARK_WORKER_INSTANCES的数量'？
I have done below setting in conf/spark-env.sh
SPARK_EXECUTOR_CORES=4
SPARK_NUM_EXECUTORS=3
SPARK_EXECUTOR_MEMORY=2G
如果没有，谁能告诉我如何增加独立集群中执行程序的数量？
提前致谢。
答案 0 :(得分：1)
在独立模式下，总执行程序数等于群集中的总工作数。
spark-env.sh中的 SPARK_WORKER_INSTANCES=2表示您希望每个从站上有2个工作进程。假设您有n个奴隶，那么您将拥有2n个工作人员，因此每个工作都有2n个执行者。
SPARK_NUM_EXECUTORS不是有效设置。