组合器应该在Hadoop中继承（或扩展）哪个类？

Question

在Hadoop中，mapper和reducer类应该扩展Mapper或Reducer接口。但是，我找不到组合器类应该扩展的接口。 Hadoop中组合器类的签名是什么？

Answer 1

组合器扩展Reducer接口，其签名应发出与其消耗相同的键/值类型，例如，字数组合器具有以下签名（对于新的o.a.h.mapreduce和旧的o.a.h.mapred public class MyCombinerNewApi extends Reducer<Text, IntWritable, Text, IntWritable> { } public class MyCombinerOldApi implements Reducer<Text, IntWritable, Text, IntWritable> { } 个包裹）：

{{1}}

Combiner类有时候与Reducer类相同（如Word Count示例中所示）。

更详细地解释组合器的一些很好的链接：

• Phillipe Adjimun的博客"To use or not to use a combiner"
• Pro Hadoop Book - Combiners

Answer 2

Combiners是mini-Reducer。它们遵循Reducer本身的相同签名

public class Combiner extends Reducer<Text, IntWritable, Text, IntWritable> {