我在EMR集群上运行Spark,我注意到计算资源没有完全使用。现在每个节点上只有一个工作者(m3.xlarge),每个工作者只有一个执行者。
我检查了这个Spark文档http://spark.apache.org/docs/latest/spark-standalone.html,并且有一个配置SPARK_WORKER_INSTANCES
,我可以通过它配置每个节点的工作人员编号,但我找不到执行者编号设置。
也许对于YARN,我可以设置--num-executors
,但我没有使用YARN。
有人知道吗?