有没有办法限制应用程序主机在特定节点上启动？

Question

我有一个群集设置，其节点不可靠，可以关闭（它们是aws spot实例）。我正在尝试确保我的应用程序主服务器仅在群集的可靠节点（按需实例的aws）上启动。是否有相同的解决方法？我的群集由hortonworks ambari管理。

Answer 1

这可以通过使用节点标签来实现。我能够在spark spark.yarn.am.nodeLabelExpression中使用该属性，以便在纱线上运行spark时将我的应用程序主数据限制为一组节点。将节点标签添加到要用于应用程序主服务器的任何节点。