HDFS文件FTP从群集到另一台机器

Question

我想创建一个Oozie工作流程，将HDFS文件从HDFS群集传输到另一台服务器。

由于Oozie可以在系统中的任何节点上运行命令或脚本，是否可以在其中一个节点上运行shell脚本或SFTP并将文件传输到目标服务器。

Answer 1

我认为通过在远程服务器上对HDFS文件执行http GET（open operation）可以轻松完成此任务（您可以使用curl）。

无论如何，如果您想通过Oozie进行，我认为您可以创建一个脚本，负责将所需文件从HDFS移动到本地文件系统，然后执行scp以便移动本地文件系统中的文件到远程文件系统。