Java hdfs客户端是否需要core-site.xml和hdfs-site.xml进行连接?

时间:2019-07-03 02:27:32

标签: java hadoop hdfs

我使用HttpClient从Hadoop服务器下载了文件。

但是其他人说这对安全性不好,因为它不需要输入用户ID。所以我必须将其更改为webhdfs或hdfs。

我必须连接Hadoop,这不是我的。

所以我不知道它的所有配置。

他们告诉我唯一的用户名,一些IP地址和端口。

但是Java程序中的hdfs客户端需要许多配置。

hdfs客户端是否需要core-site.xml和hdfs-site.xml进行配置?

还是我有其他解决方法?

1 个答案:

答案 0 :(得分:0)

为了正确地与HDFS通信,客户端需要知道配置参数。这就是这两个文件的全部内容,客户端需要从这两个文件进行配置。如here所述:

  

core-site.xml文件通知Hadoop守护程序NameNode在何处运行   集群。它包含Hadoop Core的配置设置   例如HDFS和MapReduce通用的I / O设置。

     

hdfs-site.xml文件包含HDFS的配置设置   守护程序名称节点,辅助名称节点和数据节点。

但是在Java代码中,所有配置(无论来自哪个文件)都由 org.apache.hadoop.conf.Configuration。因此,您可以将所有内容放在一个Configuration对象中。

希望这能回答您的问题。