如何使用MultipleOutputs格式生成自定义文件名以及生成其他文件

时间:2018-09-21 09:26:11

标签: java hadoop mapreduce bigdata multipleoutputs

我正在使用MultipleOutputs格式编写Orc文件以创建自定义文件名。我将驱动程序设置如下

MultipleOutputs.addNamedOutput(job, "MyPrefix", OrcNewOutputFormat.class, NullWritable.class, Writable.class);

在Reducer中如下所示

设置:

_multipleOutputs = new MultipleOutputs<NullWritable, Writable>(context);

减少方法:

_multipleOutputs.write("MyPrefix", NullWritable.get(), row);

清理方法:

_multipleOutputs.close();

尽管对于具有数据的文件,它会生成前缀为“ MyPrefix”的文件,但还会生成没有记录的part-00000文件。

请让我知道如何停止reducer生成名称为part-00000的空文件。

0 个答案:

没有答案