YARN会计算num-executors吗？

Question

如果我只提供

怎么办？

u'--executor-cores', '5',
u'--executor-memory', '20G'
u'--driver-memory', '20G',

YARN会自动计算可以放置在群集中的最大Spark执行器数吗？

Answer 1

TL; DR 否。否则Hadoop YARN将不会计算num-executors（因为它已经隐式地spark-submit提供了一个Spark应用程序）。

执行spark-submit --help阅读num-executors的说明（突出显示我的）：

  

纱线只：

     

- num-executors NUM要启动的执行者数量（默认值：2 ）。

所以，除非你指定数字，否则最终会有2个执行者。

请注意，--num-executors适用于单个和整个Spark应用，与使用中的工作人员数量无关（YARN群集管理）。