如何过滤Hadoop结果输出

时间:2013-11-05 13:07:33

标签: hadoop

我的减速机:

public static class CustomReducer extends Reducer<Int256Writable, ByteWritable, IntWritable, Int256Writable>

基于此,IntWritable的结果是&gt; 1,我想过滤Hadoop的输出,以便所有这些KV对都不会写入条件适用的输出。

到目前为止,我正在使用一个简单的TextOutputFormat,但我计划很快改用二进制文件。

如何在输出KV对之前对其进行过滤?

1 个答案:

答案 0 :(得分:0)

天哪,我很蠢。对于记录:如果您不希望它出现在输出中,请简单地不上下文。在reducer中写入结果。