将数据文件提取到HDFS

时间:2015-05-19 07:26:52

标签: hadoop hdfs

我有数TB的CSV文件,我需要将其摄取到HDFS中,文件驻留在应用程序服务器上我可以在边缘节点上FTP数据并使用以下任何方法。

HDFS CLI (-put)
Mounting HDFS
Using ETL tools

我想知道哪种方法在性能方面会很好用 请建议

1 个答案:

答案 0 :(得分:0)

我记得我在之前的一个项目中遇到过类似的情况。我们遵循了安装HDFS的方法。这将允许用户轻松地从本地系统传输文件。我发现以下链接可能对您有所帮助。

mounting hdfs - stackoverflow

HDFS NFS Gateway