Amazon EMR Application Master Web UI?

时间:2015-02-03 21:36:11

标签: hadoop yarn hadoop2 amazon-emr

我已经开始使用Hadoop YARN(AMI 3.3.1)在Amazon EMR上运行PIG作业,但由于Yarn中不再有作业跟踪器,我似乎无法找到Web UI以便我可以跟踪MapReduce作业的Mapper和Reducers的数量,当我尝试访问资源管理器UI页面中提供的Application Master链接时,我被告知该页面不存在(图片提供如下)。

有没有人知道如何通过我的网络浏览器访问用户界面,它会根据地图绘制器数量,缩减器数量和每个等完成的百分比显示当前的工作状态?

由于 enter image description here

1 个答案:

答案 0 :(得分:3)

从ResourceManager网页单击ApplicationMaster链接后,您将被重定向到ApplicationMaster web ui;因为EMR使用EC2实例,每个EC2实例有2个与之关联的IP地址,一个用于私人通信,另一个用于公共。 EMR使用私有IP地址(私有DNS)来设置hadoop,因此,您将被重定向到这样的URL:

http://10.204.137.136:9046/proxy/application_1423027388806_0003/
您可以看到

指向实例的私有IP地址,因此您的浏览器无法解析IP地址,您只需用该实例的公共IP地址(或公共DNS名称)替换私有IP地址:

URL replaced with instances public DNS

获取实例的公共IP地址

  1. 使用EC2网络界面

    您可以登录AWS EC2控制台并找到实例的IP地址

    AWS EC2 console showing instance details

  2. 使用控制台:

    如果您已登录实例并想知道它的公共IP地址,请发出以下命令,该命令将返回该实例的公共IP地址。

    curl http://169.254.169.254/latest/meta-data/public-ipv4
    
  3. 另请查看此AWS documentation page on how to view web interfaces,其中提供了其他选项,例如设置SSH隧道和使用SOCKS代理。