将数据从网关节点复制到同一网络中的其他群集

Question

有没有办法在同一网络中将数据从Cluster1中的Gateway节点直接复制到Cluster 2的HDFS。目前我正在对集群2的网关节点进行scp并将数据上传到HDFS。

谢谢，

Answer 1

您可以尝试这样的事情：

hadoop fs -put [local_file] hdfs://[namenode2]:[namenode2_port]/[path]

假设：

• [local_file]是群集1中网关节点中的文件
• [namenode2]是群集2的名称节点
• [namenode2_port]是群集2的名称节点端口
• [path]是hdfs中放置文件的路径