Question

例如，典型的WordCount mapreduce可能会返回一个输出：

你好3
  世界4
  再次1

我想稍微改变输出格式，以便显示它：

3你好   4世界
  再次1

我已经阅读了很多想要按值排序的帖子，并且答案建议在第一个输出上进行第二次mapreduce工作。但是，我不需要按价值排序，并且多个键具有相同的值可能 - 我不希望它们被混为一谈。

是否有简单的方法可以简单地切换键/值的打印顺序？看起来应该很简单。

Answer 1

易于考虑的两个选项是：

在缩小时切换键/值

修改reduce的输出以切换键和值。例如，Hadoops example WordCount job中的reduce将更改为：

public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(result, key);
    }
}

此处context.write(result, key);已更改为切换键和值。

使用第二个仅限地图的作业

您可以使用Hadoop提供的InverseMapper（Source）来运行仅限地图（0缩减器）作业来切换键和值。所以你只需要第二份工作，只需要编写驱动程序，看起来像：

public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "Switch inputs");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(InverseMapper.class);
    job.setNumReduceTasks(0);
    job.setOutputKeyClass(IntWritable.class);
    job.setOutputValueClass(Text.class);
    job.setInputFormatClass(SequenceFileInputFormat.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

请注意，您希望第一个作业使用SequenceFileOutputFormat编写第一个作业的输出，并使用SequenceFileInputFormat作为第二个作业的输入。

如何将Hadoop MapReduce作业的输出作为值/键而不是键/值返回？

1 个答案: