访问hadoop中间映射输出文件

时间:2016-10-02 20:21:46

标签: hadoop mapreduce

是否可以访问或读取地图中间输出文件,即顺序文件file.out? 我想读一个file.out文件。我使用了此链接中提到的方法http://hadooptutorial.info/hadoop-sequence-files-example/, 但它说file.out不是一个顺序文件。

1 个答案:

答案 0 :(得分:0)

如果要读取映射器的输出,请在运行作业时使用以下配置参数

-Dmapreduce.job.reduces = 0

它将reducers的数量设置为0,导致0个分区器,只有mappers结果将显示在输出目录中。