在Mongo DB的map reduce框架中是否有类似于Combiner的东西(如在Hadoop Map Reduce中)。我们正在尝试Mongo数据库集群中的map reduce框架,并且有一些密钥行可能在被发送到reduce阶段之前被合并。
1 billion records which I'm going to map-reduce
Each record is 100 bytes
100 records with same key (map) on each node
网络不会成为此类操作的瓶颈吗?我明白这会导致大量的发射,如果每个节点上有一个迷你缩减器(比如组合器)阶段,或者我的理解不正确,可以避免这种情况发生吗?
是否有任何接近Hadoop Map的Combiner阶段的事情减少,或者如果没有,是否有任何类似计划用于以后的版本?
答案 0 :(得分:1)
至于我目前的知识,MapReduce implementation of Mongo中没有组合器阶段。 Mongo implements a somewhat different version of MR than the standard;如果您遇到性能问题,最好使用Hadoop。
Here你有另一个SO问题,讨论Mongo MR和Hadoop之间的差异。