AWS：具有多主节点设置的EMR。如何获得主动主节点

Question

当前在AWS中具有多主节点设置。 Livy安装在所有3个节点上。在三个主节点中，是否有任何端点可以分辨出哪个是当前活动节点。尝试通过LIVY运行spark作业。

Answer 1

1. 您可以做<script src="https://ajax.aspnetcdn.com/ajax/jQuery/jquery-3.4.1.min.js"></script> <style class="custome_for_remove"> p { color: red; cursor: pointer; } </style> <p onclick="removeJs()"> Click here! </p>。您也可以使用java api / python api做同样的事情。
可以将
2. livy配置为使用zookeeper。表示您可以旋转3个动物园节点并为其配置livy：https://github.com/apache/incubator-livy/blob/master/conf/livy.conf.template-表示您可以将作业提交给任何livy（不过我还没有尝试过）
3. 您是否考虑过AWS Glue？它还具有用于连接作业的工作流程。并且Glue向后兼容py-spark，scala-spark

除非您希望使用EMR 24X7；并在80％以上的集群CPU中使用它，集群内存AWS胶水是一个更好的选择。请记住，尽管AWS说EMR是托管解决方案，但您仍然必须进行大小调整，检查弹性等。