如果在同一节点上执行多个映射器,组合器会合并多个映射器的结果吗?
我无法在文件或书籍中找到答案。我发现的组合器示例似乎都有所不同,即使它只能汇总一个映射器的结果。
答案 0 :(得分:4)
来自雅虎的Hadoop Tutorial:
Combiner将接收Mapper实例在给定节点上发出的所有数据作为输入。然后将Combiner的输出发送到Reducers,而不是Mappers的输出。 Combiner是一个“迷你缩减”过程,仅对一台机器生成的数据进行操作。
所以回答你的问题,是的。
答案 1 :(得分:2)
雅虎教程中的措辞(在伦纳德的回答中提到)似乎具有误导性。
截至目前,我们为每个地图任务获得了一个组合器。此问题建议的功能仍在开发中:https://issues.apache.org/jira/browse/MAPREDUCE-4502