强制Spark在所有YARN执行程序上分配任务

Question

我有一个包含5个节点的Spark群集。但是当我运行一个应用程序时，只使用了两个执行程序。如何在所有执行者上分配任务？

（这些并不总是相同的2，但从不超过2）

Answer 1

纱线默认使用2个核心。您必须设置num-executors，并且还应该查看executor-cores选项。