为什么火花环境参数与执行者不一致？

Question

我在EMR上运行我的spark应用程序。在火花历史记录界面中，environment标签下的spark.executor.instances等于1。但是，在executors标签下，它显示总共9个执行程序，包括1驱动程序。

为什么会这样？

Answer 1

spark.executor.instances这被设置为核心节点的初始数量加上集群中的任务节点数量。

executors是每个执行程序可以并行执行的任务数。

此链接将有助于解释各种含义和选项：

Submitting User Applications with spark-submit