Hadoop MultipleOutputs校验和

时间:2014-10-28 08:04:12

标签: java hadoop mapreduce hadoop-streaming

我正在使用MultipleOutputs在Reducer中写入多个文件。但是,当我查看目标文件夹时,我看到文件已成功写入,但校验和文件为空(虽然已创建)。有没有办法让MultipleOutputs也能编写校验和?

我在' run'中添加命名输出方法

 MultipleOutputs.addNamedOutput(job, "fld1",
    TextOutputFormat.class,
    Text.class, Text.class);
    ...

在Reducer中写入MultipleOutputs对象:

output = new MultipleOutputs(context);
...
output.write("fld1", key, new Text(Arrays.toString(myData)));   

有什么想法吗?

1 个答案:

答案 0 :(得分:0)

看来,写完后需要显式关闭MultipleOutputs对象。以下调用解决了该问题:output.close()