Mongo DB的map reduce框架中是否有一个组合器阶段

时间:2013-05-15 10:47:30

标签: mongodb mapreduce combiners

在Mongo DB的map reduce框架中是否有类似于Combiner的东西(如在Hadoop Map Reduce中)。我们正在尝试Mongo数据库集群中的map reduce框架,并且有一些密钥行可能在被发送到reduce阶段之前被合并。

1 billion records which I'm going to map-reduce
Each record is 100 bytes
100 records with same key (map) on each node

网络不会成为此类操作的瓶颈吗?我明白这会导致大量的发射,如果每个节点上有一个迷你缩减器(比如组合器)阶段,或者我的理解不正确,可以避免这种情况发生吗?

是否有任何接近Hadoop Map的Combiner阶段的事情减少,或者如果没有,是否有任何类似计划用于以后的版本?

1 个答案:

答案 0 :(得分:1)

至于我目前的知识,MapReduce implementation of Mongo中没有组合器阶段。 Mongo implements a somewhat different version of MR than the standard;如果您遇到性能问题,最好使用Hadoop。

Here你有另一个SO问题,讨论Mongo MR和Hadoop之间的差异。