Dir's Move to Flume

Question

我想在/ flume / events下将包含sub dir的DIR和使用flume API或java API的文件列表加载到HDFS中。我正在使用cloudera cdh5.1

请你在这方面帮助我。我想去编码如何摄取/加载包含子目录和文件的目录。我对使用flume api / java api

加载到hdfs的文件有所了解

先谢谢

Answer 1

您是否有理由使用Flume或Java？ HDFS包括一个从本地文件系统复制到HDFS的实用程序：

$ hdfs dfs -put <localsrc> ... <dst>

开关-copyFromLocal做同样的事情;使用-moveFromLocal将在复制后删除本地文件。

使用

$ hdfs dfs -help

了解更多信息。