修改EMR上的纱线配置

时间:2018-01-18 15:56:56

标签: hadoop yarn amazon-emr

我需要更改EMR群集上的YARN配置。 我是否需要更改Hadoop主服务器上的yarn-site.xml文件?如果是这样,我如何将更改传播到datanode?我是否只需要重新启动纱线,详见此处?我使用的是EMR 5.8.0。

https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

1 个答案:

答案 0 :(得分:0)

您需要识别哪个YARN守护程序强制执行该参数,如果需要,还需要相应地重新启动该守护程序。

例: EMR Master拥有YARN ResourceManager EMR Core有YARN Nodemanager

如果需要更改与YARN ResourceManager相对应的参数(如yarn.resourcemanager。*),则可能需要在master上编辑yarn-site并仅重新启动ResourceManager守护程序。

如果要更改yarn.nodemanager。*等参数,则需要在所有核心节点上更改yarn-site,并且可能需要在所有核心节点上重新启动NodeManager守护程序。

现在,当涉及到如何在所有核心上同时更改此设置时,有很多工具可以做到这一点(如Ansible,PDSH,AWS SSM等)。 EMR没有任何支持动态更改配置的API。如果您尝试使用所需配置设置群集,请使用EMR配置API。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html