我可以强制YARN将主节点用于Application Master容器吗？

Question

我的大伙伴＆＃39;主节点硬件在我的Hadoop / Spark运行期间几乎没有做任何事情，因为YARN在每个任务上使用随机从节点作为其AM。我更喜欢旧的Hadoop 1方式;当出现问题时，以这种方式避免了大量的日志追逐和ssh痛苦。

有可能吗？

Answer 1

可以使用Spark和YARN节点标签。

1. 标记您的节点
2. 使用spark.yarn.am.nodeLabelExpression 特性

好读：

• https://developer.ibm.com/hadoop/2017/03/10/yarn-node-labels/