我已经开始使用Hadoop YARN(AMI 3.3.1)在Amazon EMR上运行PIG作业,但由于Yarn中不再有作业跟踪器,我似乎无法找到Web UI以便我可以跟踪MapReduce作业的Mapper和Reducers的数量,当我尝试访问资源管理器UI页面中提供的Application Master链接时,我被告知该页面不存在(图片提供如下)。
有没有人知道如何通过我的网络浏览器访问用户界面,它会根据地图绘制器数量,缩减器数量和每个等完成的百分比显示当前的工作状态?
由于
答案 0 :(得分:3)
从ResourceManager网页单击ApplicationMaster链接后,您将被重定向到ApplicationMaster web ui;因为EMR使用EC2实例,每个EC2实例有2个与之关联的IP地址,一个用于私人通信,另一个用于公共。 EMR使用私有IP地址(私有DNS)来设置hadoop,因此,您将被重定向到这样的URL:
http://10.204.137.136:9046/proxy/application_1423027388806_0003/
您可以看到指向实例的私有IP地址,因此您的浏览器无法解析IP地址,您只需用该实例的公共IP地址(或公共DNS名称)替换私有IP地址:
使用EC2网络界面
您可以登录AWS EC2控制台并找到实例的IP地址
使用控制台:
如果您已登录实例并想知道它的公共IP地址,请发出以下命令,该命令将返回该实例的公共IP地址。
curl http://169.254.169.254/latest/meta-data/public-ipv4
另请查看此AWS documentation page on how to view web interfaces,其中提供了其他选项,例如设置SSH隧道和使用SOCKS代理。