webhdfs两步上传文件

Question

我用4台机器构建一个hadoop集群：

• {hostname}：{ip-address}
• master：192.168.1.60
• slave1：192.168.1.61
• slave2：192.168.1.62
• slave3：192.168.1.63

我使用HttpFS以一种宁静的方式将文件上传到hdfs，包含两个步骤来完成任务。

• 步骤1：提交HTTP POST请求，不会自动关注重定向，也不会发送文件数据。

  curl -i -X POST＆＃34; http://192.168.1.60:50070/webhdfs/v1/user/haduser/myfile.txt?op=APPEND＆＃34;

服务器返回结果如：

位置：http://slave1:50075/webhdfs/v1/user/haduser/myfile.txt?op=CREATE&user.name=haduser&namenoderpcaddress=master:8020&overwrite=false

• 第2步：使用响应地址上传文件。

在步骤1中，如何获取datanode的IP地址（192.168.1.61）而不是主机名（slave1）？

Answer 1

如果您的hadoop版本＆gt; = 2.5，则在每个datanode配置 $ {HADOOP_HOME} /etc/hadoop/hdfs-site.xml 文件。 加： 属性 dfs.datanode.hostname ， 值是 datanodes的ip地址。