如何将csv文件从ftp服务器导入hadoop(HDFS / HIVE / HBASE)?

时间:2014-04-30 11:44:17

标签: hadoop hive hbase

我的源文件位于csv格式的ftp服务器中。我想将这些文件导入HDFS以进行进一步处理。我不知道如何获取这些csv文件。 任何人都可以帮我吗?

1 个答案:

答案 0 :(得分:1)

您可以将其设为两步,并将文件上传到hdfs。

步骤1:从ftp服务器下载文件并存储在本地。这应该有所帮助:Transfer files from FTP server to local unix server

步骤2:在本地拥有文件后,您可以使用hadoop fs -put将文件传输到hdfs。

实施例。如果你的文件名是temp.csv,你可以这样做:

hadoop fs -put temp.csv $hadoop_path