访问远程集群中的HDFS

时间:2018-11-05 10:05:53

标签: hadoop hdfs

当前,我有一个远程Hadoop集群。当我尝试通过namenode访问datanode中的数据时,namenode会将我重定向到datanode。 但是,返回的datanode域名只能在该集群内部识别。此外,我无法在客户端修改/etc/hosts

我可以配置namenode以使用任何IP或域重定向我吗? 名称节点用于记录要返回的域在哪里?

1 个答案:

答案 0 :(得分:0)

我相信您需要的是Gateway服务器(也称为EdgeNode)。有几个教程在那里。

在特定情况下,拥有namenode的服务器也将拥有EdgeNode。

有两个特定的项目可以实现这一目标:

  1. 使用SOCKS代理。 Using Hadoop through a SOCKS proxy?
  2. 使用HTTPFS:https://hadoop.apache.org/docs/r2.4.1/hadoop-hdfs-httpfs/index.html