如何设置每个节点的工作人员数量,以及Spark中每个工作人员的执行者数量?

时间:2015-12-28 02:03:28

标签: apache-spark

我在EMR集群上运行Spark,我注意到计算资源没有完全使用。现在每个节点上只有一个工作者(m3.xlarge),每个工作者只有一个执行者。

我检查了这个Spark文档http://spark.apache.org/docs/latest/spark-standalone.html,并且有一个配置SPARK_WORKER_INSTANCES,我可以通过它配置每个节点的工作人员编号,但我找不到执行者编号设置。

也许对于YARN,我可以设置--num-executors,但我没有使用YARN。

有人知道吗?

0 个答案:

没有答案