在AWS上,WebHDFS到datanode的重定向URL具有不可解析的本地主机名

时间:2016-03-21 10:11:37

标签: hadoop amazon-ec2 dns hdfs webhdfs

我在EC2节点上运行HDFS(伪多节点设置),我使用它通过WebHDFS的REST API访问文件,例如在GET上执行GET操作。这样:

  

http:slash slash ec2-xx-xx-xx-xx.us-west-2.compute.amazonaws.com:50070/webhdfs/v1/foo/bar.txt?op=OPEN

这让我暂时重定向到

  

http:slash slash ip-yy-yy-yy-yy.us-west-2.compute.internal:50075 / webhdfs / v1 / foo / bar.txt?op = OPEN& namenoderpcaddress = localhost:9000& offset = 0

此处 xx-xx-xx-xx 是分配给我的实例的公共静态IP, yy-yy-yy-yy 是实例的本地IP

这使重定向失败,因为显然无法从浏览器打开 ip-yy-yy-yy-yy.us-west-2.compute.internal !我希望生成的重定向URL具有分配给我的实例的静态公共IP,可以通过默认的公共DNS解析。

Here是HDFS配置默认值的列表,但我无法理解导致这种情况的原因。

我的hdfs-site.xml配置:

dfs.replication: 1
dfs.webhdfs.enabled:true

我的core-site.xml配置:

fs.defaultFS: hdfs://localhost:9000

感谢任何形式的帮助,谢谢!

0 个答案:

没有答案