如何按特定顺序对送入减速器的值进行排序

Question

在我的map-reduce作业中，mapper的输出类型为<Text, FileAlias>，而类FileAlias有两个属性，如下所示

   public class FileAlias extends Configured implements WritableComparable<FileAlias>{

    public boolean isAlias;
    public String value;
      ...
   }

对于每个输出键（类型为Text），只有一个输出值（类型为FileAlias）的属性isAlias设置为true。我希望这个输出值是OutputCollector送到reducer的第一个项目。有没有办法做到这一点？

Answer 1

查看Job对象上的setGroupingComparatorClass方法。您应该能够实现一个比较器，该比较器首先在传递给reduce任务的Iterable中使用FileAlias isAlias == true。