从hadoop到分片mongodb集群同步(或保持导入)3.5TB数据的最快方法

时间:2015-09-15 16:19:56

标签: mongodb hadoop import hdfs data-import

我们的hadoop集群中有3.5TB数据(在hdfs上是的)。我们新建了一个分片的mongodb集群(最新的3.x),有3个mongos,3个configdb和3个分片(每个分片有1个主节点和2个辅助节点)

我们正在寻找将这些数据从hadoop / hdfs导入我们新建的分片mongodb集群的最佳/最快方法。

所有这些数据都将存入mongodb群集中的分片集合中。

我们在此方面没有太多经验,也不知道如何以最快的方式在我们的环境中做到这一点。

感谢是否有人可以提供线索或我们可以利用的工具。开源工具或商业广告对我们都是好的。

0 个答案:

没有答案