hadoop reducer是否在每个节点中执行顺序或并行键?

时间:2013-02-20 22:40:46

标签: hadoop

刚开始使用hadoop,得到了有关减速器执行的几个问题。

当键,值对分配给一个reducer任务时。它是顺序还是并行处理。

例如(A,5)(A,3)(B,10)用于reducer任务。 A,B是否并行进入减速机?

1 个答案:

答案 0 :(得分:2)

当使用一个reducer时,KV对不会并行处理,而是按排序顺序处理。在上面的示例中,对将从一个或多个映射器任务(如果有多个映射器并行)发送到单个reduce任务。在将这些值传递给reducer类之前,它们被聚合((A,5)和(A,3)变成(A,{5,3}))然后在reducer任务实际运行用户代码之前进行排序'减少'输入集。