使用Java将目录内容从本地文件系统移动到HDFS

Question

我在本地文件系统中有一个源目录（/home/src），其中包含2个文件file1.txt和file2.txt

我想通过代码将它们复制到/user/dest中的目标目录（HDFS）。

import org.apache.hadoop.fs.FileUtil;

当我使用FileUtil API将内容从本地src移至hdfs dest时，它也会移动src目录。

FileUtil.copy("/home/src", fs, "/user/dest", true, conf);

有没有办法可以使用src API将目录内容从dest移动到Java？

Answer 1

Hadoop已内置API个，可用于从本地复制到hdfs
您只需import个必要的图书馆，然后拨打apis，如下所示

这会将src文件夹从本地复制到/user/dest/的{​​{1}} 如果要复制单个文件，请按照以下方式：列出文件并复制单个文件（如果需要，我们也可以过滤文件）

hdfs

我希望这很有用