我有2个hadoop集群(A和B),并希望将文件从集群A的本地传输到集群B的HDFS。有没有办法做到这一点?
我尝试了copyFromLocal并放置,但看起来他们没有将文件复制到群集B的HDFS并显示它们不受支持:
copyFromLocal: Not supported
fyi:连接看起来是开放的,因为我能够从群集A的本地读取群集B的HDFS(hadoop fs -ls hdfs:// NNofB:port / path)
答案 0 :(得分:0)
不确定是否有直接来自HDFS-> HDFS的方法,但您可以从ClusterA中的节点上的HDFS get
,scp
将数据发送到ClusterB中的节点,然后put
1}}该数据从ClusterB中的该节点传入HDFS。