在Mapreduce中使用两个不同的reduce函数

Question

我想在mapreduce程序中使用两个不同的reduce函数， 每个人都有自己的签名。 签名的不同之处在于它所期望的不同关键对象。 可以吗？ 怎么样？

Answer 1

使用MultipleOutputs类和单个reducer。您仍然需要为reducer定义输出键/值类型和输出格式，但是您可以通过调用MultipleOutputs类中的静态方法来配置两个输出（具有不同类型）。然后，在reducer中构造一个MultipleOutputs实例，并使用该实例编写键/值对。 javadoc有相当有用的例子。