地图中减速器的数量减少

Question

我在MR中为驱动程序类设置了3个reducer。

这意味着将创建三个分区..

但是mapper只发出了两个独特的关键词，即男性和女性。

在这种情况下，Reducer和reduce函数的运行时间如何？

Answer 1

你的问题有点模糊，但我可以对可能发生的事情做出两种解释：

1。两阶段减少

• 减速器1减少所有男性结果
• 减速器2减少所有女性 结果
• Resucer 3减少了Reducer 1和2的输出。

2。拆分工作

• 减速器1减少所有男性结果
• 减少器2减少了女性结果的前半部分
• 减少器3减少女性结果的后半部分

Answer 2

如果设置3个减速器，它们都会运行。但是，如果 most 只有两个密钥，则两个reducers实际上会接收要处理的数据。