Spark：Spark UI不反映正确的执行者计数

Question

我们正在运行一个火花流应用程序，我们希望增加执行者使用的数量....所以更新 spark-default.conf 增加 spark.executor.instances 从 28 到 40 ，但更改未反映在用户界面

checkAuth

注意：重新启动spark start-master.sh和start-slaves.sh但没有变化。非常感谢这方面的任何帮助。这是 yarn-site.xml

replace

Answer 1

yarn-site配置为每个节点分配7个核心，因此总共有35个核心，这意味着最多可以运行34个具有1个核心的执行器（1个核心用于驱动程序）。