MapReduce中的MultiOuputFormat在写入输出时会跳过几条记录

时间:2018-11-07 22:42:41

标签: hadoop mapreduce bigdata

我只是使用下面的代码写入2个不同的输出

org.apache.hadoop.mapreduce.lib.output.MultipleOutputs multipleOutputs = new MultipleOutputs <>(上下文); multipleOutputs.write(result,null,tempPath1); multipleOutputs.write(result,null,tempPath2);

我只是在地图输入记录上应用几个不同的业务逻辑,然后将它们存储到两个不同的输出中。

有时将所有输入记录写入输出,有时不写入。对于仅写入少量记录(跳过少量记录)的情况,当我们再次运行它们时,它可以正常工作。因此,我找不到根本原因。

0 个答案:

没有答案