标签: mongodb hadoop hbase hive apache-pig
我们有5 tera字节的mongodb数据,我们的客户希望使用Hadoop移动并处理数据。
我们的要求是将MongoDB中的数据加载到HDFS中并处理它并存储到另一个随机访问数据库中。
我们(团队)的想法是使用mongo-hadoop驱动程序将数据从mongoDB加载到HDFS,并使用HIVE处理数据并将数据加载到HBASE中进行随机访问。
那么,还有其他更好的方法吗?请提供您的建议。
仅供参考:我们有20个节点集群。