我的YARN资源管理器位于与我的namenode不同的节点上,我可以看到某些正在运行,我将其作为资源管理器。端口8031和8030绑定,但不是端口8032,我的客户端尝试连接。
我在CDH 5.3.1上,以下是lsof -i
java 12478 yarn 230u IPv4 61325 0t0 TCP hadoop2.adastragrp.com:48797->hadoop2.adastragrp.com:8031 (ESTABLISHED)
java 13753 yarn 159u IPv4 61302 0t0 TCP hadoop2.adastragrp.com:8031 (LISTEN)
java 13753 yarn 170u IPv4 61308 0t0 TCP hadoop2.adastragrp.com:8030 (LISTEN)
java 13753 yarn 191u IPv4 61326 0t0 TCP hadoop2.adastragrp.com:8031->hadoop2.adastragrp.com:48797 (ESTABLISHED)
我如何诊断这里的错误?我怀疑资源管理器正在运行,但无法绑定到端口8032,但我不知道为什么会这样。
在cloudera管理器中,ResourceManager显示健康状况良好,但同时我收到此报告:
ResourceManager摘要:hadoop2.adastragrp.com(可用性: 未知,健康:好)。这项健康测试很糟糕,因为服务 Monitor没有找到活动的ResourceManager。
[编辑]
我可以在资源管理器节点上本地执行yarn application -list
,但是当我在不同的节点上执行相同操作时,它会尝试正确连接到资源管理器,但是无法执行此操作。两个节点都是连接的,可以相互ping通,依此类推。我在VM上禁用了iptables服务。
nmap输出:
PORT STATE SERVICE REASON
8032/tcp filtered unknown host-prohibited
答案 0 :(得分:0)
端口被其他进程占用了吗?例如,您异常停止hadoop集群,导致某些进程仍在运行。如果是这样,请尝试ps -e|grep java
并杀死它。
答案 1 :(得分:0)
知道,在CentOS 6停止iptables服务并没有真正禁用防火墙。我不得不用system-config-firewall禁用它。