我使用HttpClient从Hadoop服务器下载了文件。
但是其他人说这对安全性不好,因为它不需要输入用户ID。所以我必须将其更改为webhdfs或hdfs。
我必须连接Hadoop,这不是我的。
所以我不知道它的所有配置。
他们告诉我唯一的用户名,一些IP地址和端口。
但是Java程序中的hdfs客户端需要许多配置。
hdfs客户端是否需要core-site.xml和hdfs-site.xml进行配置?
还是我有其他解决方法?
答案 0 :(得分:0)
为了正确地与HDFS通信,客户端需要知道配置参数。这就是这两个文件的全部内容,客户端需要从这两个文件进行配置。如here所述:
core-site.xml文件通知Hadoop守护程序NameNode在何处运行 集群。它包含Hadoop Core的配置设置 例如HDFS和MapReduce通用的I / O设置。
hdfs-site.xml文件包含HDFS的配置设置 守护程序名称节点,辅助名称节点和数据节点。
但是在Java代码中,所有配置(无论来自哪个文件)都由
org.apache.hadoop.conf.Configuration
。因此,您可以将所有内容放在一个Configuration对象中。
希望这能回答您的问题。