我在Amazon EC2实例上配置了单个节点群集(ubuntu-trusty-14.04-amd64-server-20140927(ami-3d50120d))。启动Hadoop集群后,我访问了NameNode Web界面(http://ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:50070/dfshealth.jsp),该界面运行正常。但是当导航到指示"浏览文件系统"链接被破坏并指向http://ip-xxx-xx-xx-xxx.us-west-2.compute.internal:50075/browseDirectory.jsp?namenodeInfoPort=50070&dir=/&nnaddr=172.31.25.124:9000 - 这是私有IP的实例。为此,当访问数据节点时也会发生这种情况,例如"实时节点" 不知何故,这些链接正在解析为我的实例的私有IP地址。如果我用我的实例的公共DNS替换url,这些页面会正确加载。有没有人见过并且更好地解决了这个问题?
答案 0 :(得分:0)
尝试在Hadoops配置中使用完全限定的主机名。我认为您需要将core-site.xml和hdfs-site.xml更改为您的公共DNS名称。
答案 1 :(得分:0)
将socks代理与代理配置工具一起使用。对于ec2 hadoop部署,EMR的说明应该相同。
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-ssh-tunnel.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-connect-master-node-proxy.html