Hadoop中默认的散列分区器有两个不同的键转到同一个reducer?

时间:2013-12-24 08:14:49

标签: java hadoop hadoop-partitioning

我们知道Hadoop可以保证将来自不同mappers的相同密钥发送到同一个reducer

但如果两个不同的键具有相同的哈希值,它们肯定会转到相同的 reducer,因此会将它们发送到相同的 reduce方法有序?哪个部分负责这个逻辑?

非常感谢!

1 个答案:

答案 0 :(得分:2)

Q 1:so will them be sent to the same reduce method orderly

答案:是的


Q2:Which part is responsible for this logic

答案:shuffle sort


示例:

key  value
 1       2
 1       2
 2       5
 3       19
 6       20

让我们说减速机的数量是5 所以现在。

Reduce 0 will get key NO key-value pairs
Reduce 1 will get key 1,6 in same order 
Reduce 2 will get key 2
Reduce 3 will get key 3
Reduce 4 will get key NO key-value pairs