Question

在我的Reducer代码中，我使用此代码段对值进行求和：

for(IntWritable val : values) {
    sum += val.get();           
}

如上所述给出了预期的输出，我尝试将代码更改为：

for(IntWritable val : values) {
    sum += 1;
}

任何人都可以解释一下，当我在reducer而不是sum += 1中使用sum += val.get()时会有什么不同？为什么它给我相同的输出？它与Combiner有什么关系，因为当我使用与Combiner相同的reducer代码时，类输出不正确，所有单词显示为1。

映射器代码：

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        String line = value.toString();
        StringTokenizer token = new StringTokenizer(line);

        while(token.hasMoreTokens()) {
            word.set(token.nextToken());
            context.write(word, new IntWritable(1));
        }
    }

减速机代码：

public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {

        int sum = 0;

        for(IntWritable val : values) {
            //sum += val.get();
            sum += 1;
        }
        context.write(key, new IntWritable(sum));
    }

驱动程序代码：

job.setJarByClass(WordCountWithCombiner.class);
        //job.setJobName("WordCount");

        job.setMapperClass(WordCountMapper.class);
        job.setCombinerClass(WordCountReducer.class);
        job.setReducerClass(WordCountReducer.class);

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

输入 - “成为或不成为”

预期输出 - （be，2），（to，2），（或，1），（不是，1）

但我得到的输出是 - （be，1），（to，1），（或，1），（不是，1）

Answer 1

全部取决于sum += val.get();

的值

如果始终val.get()返回 1 ，那么sum += val.get();与您在减速机中发生的sum += 1;相同。

BUT

combainer 用于在映射器端执行预聚合（类似于reducer聚合），之前将键值对发送给recuder。

Hadoop框架不保证Mapper执行合并器的次数，它将取决于Mapper输出的数量。然后，如果只执行一次组合器，则映射器侧的聚合将是正常的，但是在reducer中只能接收 1的，您可以接收其他数字（val.get() >= 1）。如果在reducer中使用sum += 1;，则会丢弃映射器中的聚合数字，从而生成错误的输出。

如果组合器在Mapper端执行了多次，那么你可以想象问题可能更糟。

总而言之，sum += 1;仅适用于当且仅当该语句仅针对每个键值执行一次时才有效。使用合并器，这是不合理的。

Answer 2

任何人都可以解释一下，当我在reducer而不是sum += 1中使用sum += val.get()时会有什么不同？

这两个陈述都在执行加法操作。在第一个中，您计算for-loop运行的次数。在后面，您实际上正在对给定int的每个val对象返回的key值执行求和操作。

为什么它会给我相同的输出？它与Combiner有什么关系

答案是是。这是因为Combiner。

现在让我们看看你传递的输入，这将只实例化一个Mapper。 Mapper的输出是：

(to,1), (be,1), (or,1), (not,1), (to,1), (be,1)

当它转到Combiner时，它与Reducer的逻辑基本相同。输出将是：

(be,2) , (to,2) , (or,1) , (not,1)

现在Combiner的上述输出转到Reducer，它将执行求和操作，但是您定义它。因此，如果您的逻辑是sum += 1，那么输出将是：

(be,1) , (to,1) , (or,1) , (not,1)

但如果您的逻辑是sum += val.get()，那么您的输出将是：

(be,2) , (to,2) , (or,1) , (not,1)

我希望你现在明白了。 Combiner和Reducer的逻辑是相同的，但是要进行处理的输入是不同。

Answer 3

val.get();返回int所以基本上两个代码都相同。我们使用val.get（）的原因取决于我们试图解决的问题。在您的情况下，我们确信在映射器中每个单词都作为键发出，值为1，因此在reducer中您可以确保val.get（）将始终返回1.因此，硬编码的整数值1给出同样的结果。

同样使用与合并器功能相同的减速器不应该导致任何问题。其中一个输出将是所有单词计数为＆＃39; 1＆＃39;当减速器的数量设置为0并且映射器输出被写入输出路径时。

Hadoop - 经典MapReduce Wordcount

3 个答案: