我们知道Hadoop
可以保证将来自不同mappers
的相同密钥发送到同一个reducer
。
但如果两个不同的键具有相同的哈希值,它们肯定会转到相同的 reducer
,因此会将它们发送到相同的 reduce
方法有序?哪个部分负责这个逻辑?
非常感谢!
答案 0 :(得分:2)
Q 1:so will them be sent to the same reduce method orderly
答案:是的
Q2:Which part is responsible for this logic
答案:shuffle sort
示例:
key value
1 2
1 2
2 5
3 19
6 20
让我们说减速机的数量是5 所以现在。
Reduce 0 will get key NO key-value pairs
Reduce 1 will get key 1,6 in same order
Reduce 2 will get key 2
Reduce 3 will get key 3
Reduce 4 will get key NO key-value pairs