自动将文件从本地复制到Hadoop

Question

我想每小时将更新的文件从本地文件系统复制到Hadoop，因为我想放入cron。是否有任何hadoop命令可用于将更新的文件从本地复制到Hadoop？

Answer 1

您可以使用各种数据提取工具，如Flume，Nifi等。

如果您需要有关这些工具的任何帮助，请与我们联系。

Answer 2

下面的代码？ 在包含文件的文件夹中

files=$(find . -type f -mmin -60)

for f in $files
do
  hadoop fs -cp $f /hadoopdest
done

可能是创建文件的另一个循环：

files_c=$( find . -type f -cmin -60)