将文件从1个集群的本地计算机传输到另一个集群的hdfs

时间:2015-12-03 19:37:45

标签: shell unix hadoop

我有2个hadoop集群(A和B),并希望将文件从集群A的本地传输到集群B的HDFS。有没有办法做到这一点?

我尝试了copyFromLocal并放置,但看起来他们没有将文件复制到群集B的HDFS并显示它们不受支持: copyFromLocal: Not supported

fyi:连接看起来是开放的,因为我能够从群集A的本地读取群集B的HDFS(hadoop fs -ls hdfs:// NNofB:port / path)

1 个答案:

答案 0 :(得分:0)

不确定是否有直接来自HDFS-> HDFS的方法,但您可以从ClusterA中的节点上的HDFS getscp将数据发送到ClusterB中的节点,然后put 1}}该数据从ClusterB中的该节点传入HDFS。