我的源文件位于csv格式的ftp服务器中。我想将这些文件导入HDFS以进行进一步处理。我不知道如何获取这些csv文件。 任何人都可以帮我吗?
答案 0 :(得分:1)
您可以将其设为两步,并将文件上传到hdfs。
步骤1:从ftp服务器下载文件并存储在本地。这应该有所帮助:Transfer files from FTP server to local unix server
步骤2:在本地拥有文件后,您可以使用hadoop fs -put将文件传输到hdfs。
实施例。如果你的文件名是temp.csv,你可以这样做:
hadoop fs -put temp.csv $hadoop_path