组合器是否可以处理来自多个映射器的结果?

时间:2014-02-12 05:19:33

标签: hadoop mapreduce

如果在同一节点上执行多个映射器,组合器会合并多个映射器的结果吗?

我无法在文件或书籍中找到答案。我发现的组合器示例似乎都有所不同,即使它只能汇总一个映射器的结果。

2 个答案:

答案 0 :(得分:4)

来自雅虎的Hadoop Tutorial

  

Combiner将接收Mapper实例在给定节点上发出的所有数据作为输入。然后将Combiner的输出发送到Reducers,而不是Mappers的输出。 Combiner是一个“迷你缩减”过程,仅对一台机器生成的数据进行操作。

所以回答你的问题,是的。

答案 1 :(得分:2)

雅虎教程中的措辞(在伦纳德的回答中提到)似乎具有误导性。

截至目前,我们为每个地图任务获得了一个组合器。此问题建议的功能仍在开发中:https://issues.apache.org/jira/browse/MAPREDUCE-4502