根据键/值对(HADOOP)将输出减少到所需文件

时间:2013-04-22 16:37:27

标签: java hadoop mapreduce key-value reduce

是否可以根据密钥将reducer输出发送到多个文件?等,

if(key1)
 {
        //output to file1 using context.write() or otherwise
  }
 else
 {
        //output to file2 using context.write() or otherwise
 }

2 个答案:

答案 0 :(得分:1)

您应该能够在reducer中使用条件逻辑和MultipleOutputs类来实现您的目标。他们有一个如何在链接的javadoc中执行此操作的示例。

答案 1 :(得分:0)

另一种可能的方法是实现自定义Partitioner。这样就可以运行两个(多个)reducers并根据键的值进行相应的分区。