如何在MapReduce中进行改组？

Question

看起来很简单，只有一点我不太明白是如何进行改组？你怎么能在这里为每个单词创建一个篮子？

Answer 1

map的输出键，值对（让我们称之为K,V）根据键的哈希进行分区。

具有相同K,V的所有hash(K)对都会发送到同一个reducer。每个reducer中的K,V对按键排序并按键分组。

reduce然后依次处理每个键及其所有相关值。

N.B。在Hadoop（以及可能的其他M / R实现）中，分区，排序和分组功能可以由用户定义。