如何在hdfs中自动输入文件？

Question

在Hadoop中，我们总是通过-put命令手动输入输入文件。我们有什么方法可以自动化这个过程吗？

Answer 1

没有将文件输入Hadoop文件系统的自动过程。但是，可以使用一个命令-put或-get多个文件。

这是Hadoop shell命令的网站 http://hadoop.apache.org/common/docs/r0.18.3/hdfs_shell.html

Answer 2

我不确定你有多少文件放入HDFS，但是一个用于观察文件然后放入文件的解决方案是Apache Flume。 These slides提供了一个体面的介绍。

Answer 3

你可以使用Fabric库和python自动完成这个过程。在函数中写入hdfs put命令，可以将其调用为多个文件，并对网络中的多个主机执行相同的操作。 Fabric应该对您的场景中的自动化非常有帮助。