Hadoop减速机清理功能

时间:2014-02-09 20:29:34

标签: hadoop

在hadoop reduce代码中,我有一个清理函数,它打印总计数,但它打印两次。我认为这是因为它只打印了键+值和计数,但我不确定。

我的代码有:

protected void cleanup(Context context) throws IOException,
                InterruptedException {
            Text t1 = new Text("Total Count");
            context.write(t1, new IntWritable(count));
        }
在reducer类中输出

,输出为:

Total Count     9477
Total Count     4738

1 个答案:

答案 0 :(得分:0)

在每个任务结束时调用清理方法。所以我假设你在代码中运行了2个reducer。因此2输出