将文件从FTP复制到HDFS

Question

  

我需要将文件从我的集群外的FTP服务器复制到Hadoop，即   HDFS。

提前致谢。

Answer 1

你试过这个吗？ FTP TO HDFS ...您可以修改此代码并将文件的参数更改为FTP a agrs [0]和HDFS Paht更改为args [1]。而不是像hadoop jar一样运行它。希望这会帮助......

Answer 2

试试这个：

hadoop fs -get ftp://uid:password@server_url/file_path temp_file | hadoop fs -moveFromLocal tmp_file hadoop_path / dest_file

Answer 3

你看过WebHDFS（http://hadoop.apache.org/docs/r1.0.4/webhdfs.html）还是HttpFS（http://hadoop.apache.org/docs/r2.2.0/hadoop-hdfs-httpfs/index.html）

服务需要访问Hadoop集群，然后您可以将HttpFS端口公开给可以访问FTP服务器的服务器。