减速机数量的逻辑

时间:2015-03-01 06:40:03

标签: hadoop mapreduce reduce

假设在MR作业中,映射器仅发出两个唯一键。我将减速器计数设置为4 。现在我的hashpartitioner将始终将两种类型的密钥发送到两个reducer,假设R1和R2。 我想知道R3和R4会发生什么。 他们在跑吗?如果不是那么为什么? 还会形成多少个零件文件?

谢谢

1 个答案:

答案 0 :(得分:0)

它们会运行,因为它们会在知道它们不会收到任何密钥之前启动。将创建四个部分文件,但其中两个不包含任何记录。