映射输出格式与hadoop中的reduce输出格式不同

时间:2013-09-17 01:47:32

标签: hadoop mapreduce output

我希望Map的输出为 SequenceFileOutputFormat ,而reduce的最终输出为 TextOutputFormat

作业配置允许仅指定 setOutputFormatClass

如何为map和reduce阶段设置不同的输出格式?

2 个答案:

答案 0 :(得分:1)

我不相信你可以为mapper和reducer指定不同的输出格式,仅适用于整个作业。您可以尝试的一个选项,取决于您的处理,您可以让一个作业输出SequenceFileOutputFormat中的文件,然后另一个作业读取并处理它以将其转换为TextOutputFormat。

答案 1 :(得分:0)

作业配置还允许在hadoop mapreduce包中使用setMapOutputKeyClass和Job class的setMapOutputValueClass方法指定Map的输出