如何在YARN集群中的特定节点上启动Spark的ApplicationMaster？

Question

我有一个YARN集群，其中一个主节点正在运行资源管理器和另外两个节点。我可以从＆＃34; yarn-cluster＆＃34;中的客户端机器提交spark应用程序。模式。有没有办法可以配置集群中的哪个节点启动Spark应用程序主服务器？

我问这个是因为如果应用程序主服务器在主节点中启动它可以正常工作但如果它在其他节点中启动我得到这个：

重试连接服务器：0.0.0.0/0.0.0.0:8030 。

并且工作被简单地接受并且永远不会运行

Answer 1

如果您使用足够新版本的YARN（2.6或更新版本，根据http://expirebox.com/download/10533c5d386618b95bb39bd1dc886ace.html），则可以使用Spark docs。

此Hortonworks指南将逐步浏览node labels in YARN。

如果您使用Spark 1.6或更高版本，则applying node labels to your YARN NodeManagers添加了对在Spark中使用YARN节点标签的支持;然后，您只需传递spark.yarn.am.nodeLabelExpression以限制AppMaster节点位置，如果您需要，可以spark.yarn.executor.nodeLabelExpression执行执行者放置。