如何使用Oozie将远程文件复制到HDFS？

Question

我必须将远程文件复制到HDFS中。我想使用Oozie，因为我需要在特定时间每天运行这份工作。

Answer 1

Oozie可以帮助您创建工作流程。使用oozie，您可以调用能够将文件从源文件复制到HDFS的外部操作，但是oozie不会自动执行此操作。

以下是一些建议：

1. 使用自定义程序将文件写入hdfs，例如使用SequenceFile.Writer。
2. Flume可能有帮助。
3. 使用像camel-hdfs这样的集成组件将文件移动到hdfs。
4. ftp文件到hdfs节点，然后从本地磁盘复制到hdfs。

调查更多可能适合您案例的选项。