如何将数据从边缘节点加载到Hadoop集群？

Question

我有两台服务器A（边缘节点）和B（Hadoop集群）。 我需要将目录从A移动到B（Hadoop位置）。 我能够复制到B群集本地，但不知道要复制到B服务器中的hdfs位置的确切命令

Answer 1

使用：

hadoop fs -put <local_src> <hdfs_src>

有关更多帮助，请参阅this。还可以在CLI上查看可用的命令：

hadoop --help

Answer 2

您可以使用以下两种方式中的任何一种：

hadoop fs -copyFromLocal /home/username/abc.txt  /user/username/

其中/home/username/abc.txt是边缘节点上的文件，/ user / username /是hdfs上要复制该文件的目录。

OR

hadoop fs -put /home/username/abc.txt  /user/username/

其中/home/username/abc.txt是边缘节点上的文件，/ user / username /是hdfs上要复制该文件的目录。