如何调整火花执行器编号？

Question

我向我的独立火花星团提交火花流计算任务。 submit命令如下所示：

settingsToolStripMenuItem.ShortcutKeyDisplayString = ((new KeysConverter()).ConvertTo(Keys.Control, typeof(string))).ToString().Replace("None", ",");

请注意，我使用num-executors 1.因为我只想要一个执行器。

然后使用ps命令我可以找到下面的输出。

./bin/spark-submit   \
--master spark://ES01:7077 \
--executor-memory 4G --num-executors 1\ 
/opt/flowSpark/sparkStream/latest5min.py    1>a.log 2>b.log

从我的理解

11659和11759是火花立场集群过程。

18538是驱动程序。

18677 18679 18723现在应该是工人流程。

为什么还有3个，因为我已经使用了num-executor 1？

Answer 1

从文档

中检查spark默认值中的spark.executor.cores

The number of cores to use on each executor. For YARN and standalone mode only. 
In standalone mode, setting this parameter allows an application to run multiple executors on the same worker, provided that there are enough cores on that worker. 
Otherwise, only one executor per application will run on each worker.

http://spark.apache.org/docs/latest/configuration.html#execution-behavior

Answer 2

如果您正在使用YARN，您可以通过在datanode中发出以下命令来检查执行程序（执行程序将被实例化）

image

CoarseGrainedExecutorBackend引用一个执行者。