Hadoop distcp无法正常工作

Question

我正在尝试将数据从一个HDFS复制到另一个HDFS。有什么建议为什么第一个有效而不是第二个？

（作品）

hadoop distcp hdfs://abc.net:8020/foo/bar webhdfs://def.net:14000/bar/foo

（不起作用）

hadoop distcp webhdfs://abc.net:50070/foo/bar webhdfs://def:14000/bar/foo

谢谢！

Answer 1

如果两个群集正在运行HDFS的不兼容版本，那么 您可以在它们之间使用webhdfs协议distcp。

hadoop distcp webhdfs://namenode1:50070/source/dir webhdfs://namenode2:50070/destination/dir

如果您使用HTTP，则应在source和destination命令中提供NameNode URI和NameNode webhdfs端口。