使用SFTP将文件移动到Hadoop HDFS

Question

我有一个VPC子网，里面有多台机器。

在机器上，我存储了一些文件。在另一台机器上，我已经安装并运行了HDO服务。

我需要使用SFTP将这些文件从第一台机器移动到HDFS文件系统。

Hadoop是否有一些可以实现这一目标的API？

PS：我已经使用Cloudera CDH4发行版安装了Hadoop。

Answer 1

这一要求在ftp / sftp服务器端比HDFS更容易实现。

检查一个ftp服务器在HDFS hdfs-over-ftp

之上工作

Answer 2

用Apache Oozie编写的工作流程可以做到这一点。它配备了Cloudera发行版。其他用于编排的工具可以是Talend或PDI Kettle。