如何在AWS EMR

时间:2016-01-22 18:11:47

标签: hadoop yarn emr

我使用的是Hadoop 2.6.0(emr-4.2.0图片)。我在yarn-site.xml进行了一些更改,并希望重新启动纱线以使更改生效。

是否有使用该命令的命令?

4 个答案:

答案 0 :(得分:23)

编辑(10/26/2017): 有关如何执行此操作的更详细的知识中心文章已由AWS正式发布 - https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

您可以ssh进入EMR群集的主节点并运行 -

"sudo /sbin/stop hadoop-yarn-resourcemanager"
"sudo /sbin/start hadoop-yarn-resourcemanager"

重启Yarn资源管理器的命令。 EMR AMI 4.x.x使用upstart - / sbin / {start,stop,restart}都是/ sbin / initctl的符号链接,这是upstart的一部分。有关更多信息,请参见initctl手册页。

或者,您可以按照此处的说明将更改传播到yarn-site.xml - yarn-change-configuration-on-yarn-site-xml

答案 1 :(得分:19)

对于那些将来自Google的人

要在EMR中重新启动服务,请执行以下操作:

  • 运行以下命令查找服务名称:

    initctl list
    

例如,YARN资源管理器服务名为hadoop-yarn-resourcemanager

  • 运行以下命令停止服务:

    sudo stop hadoop-yarn-resourcemanager
    
  • 等待几秒钟,然后运行以下命令启动服务:

    sudo start hadoop-yarn-resourcemanager
    

注意:需要停止/启动;不要使用restart命令。

  • 运行以下命令验证进程是否正在运行:

    sudo status hadoop-yarn-resourcemanager
    

使用ps检查进程,然后检查日志文件中是否存在日志目录/ var / log /中的任何错误。

来源:https://aws.amazon.com/premiumsupport/knowledge-center/restart-service-emr/

答案 2 :(得分:0)

如果您要执行的是启用日志聚合,则实际上更容易创建已启用日志聚合的集群,如文档中所述:

http://docs.aws.amazon.com/ElasticMapReduce/latest/ManagementGuide/emr-plan-debugging.html

(如果您使用的是emr-4.3.0,则默认情况下已启用。)

答案 3 :(得分:-1)

也尝试重新启动此服务:

hadoop-yarn-nodemanager