AWS - Hadoop集群 - 节点已启动但未运行

时间:2015-12-22 11:27:54

标签: hadoop amazon-web-services hdfs cluster-computing

我的本​​地服务器中设置了hadoop集群,工作正常,我正在将其复制到AWS服务器(1个NN主节点,1个辅助节点节点,7个从节点),我可以启动我的hadoop。但我无法打开像:50070 / dfshealth.jsp这样的页面。我已经完成了正确的安装和ssh公钥认证,就像我在本地设置中所做的那样。日志中也没有异常的东西。还有什么我可以研究的吗?

2 个答案:

答案 0 :(得分:1)

如果日志良好,请确保打开必要的Hadoop端口。与本地设置不同,在AWS中,您应该要求他们打开特定端口。在这种情况下,您必须要求打开所需的Hadoop http和RPC端口(如果没有)。这肯定会解决问题。

答案 1 :(得分:0)

您需要在安全组中打开端口。确保在群集中的所有节点上使用相同的安全组。此外,您只能使用弹性ip / public dns默认连接(以ec2 *开头)。如果你想使用私有ips,你需要进行SSH隧道。