将MongoDB中的数据加载到HDFS和hbase中

时间:2013-09-03 10:07:00

标签: mongodb hadoop hbase hive apache-pig

我们有5 tera字节的mongodb数据,我们的客户希望使用Hadoop移动并处理数据。

我们的要求是将MongoDB中的数据加载到HDFS中并处理它并存储到另一个随机访问数据库中。

我们(团队)的想法是使用mongo-hadoop驱动程序将数据从mongoDB加载到HDFS,并使用HIVE处理数据并将数据加载到HBASE中进行随机访问。

那么,还有其他更好的方法吗?请提供您的建议。

仅供参考:我们有20个节点集群。

0 个答案:

没有答案