Hadoop - 将数据从HTTP上传(PUT)直接传输到HDFS

时间:2013-07-25 19:29:35

标签: hadoop hdfs

我有以下应用程序部署

  • 网络前端通过HTTP / FTP从客户端获取数据
  • hadoop cluster

我需要将客户端的数据存储在HDFS上。这样做的最佳方式是什么?是否可以直接将数据流式传输到HDFS,而无需从本地驱动器上的客户端获取所有数据,然后将其放入HDFS中?

2 个答案:

答案 0 :(得分:0)

我现在能想到的可行方案是:

根据您的方便和轻松,选择“最佳”选项完全取决于您。

答案 1 :(得分:0)

就个人而言,如果你想要低延迟访问HDFS,你最好的选择是HBase。您可以非常轻松地放置和获取值,因为它只是一个键值存储。我们在我们的应用程序中使用相同的东西,它的工作非常棒。