没有Reducer的Mapper作业中的文件数

时间:2018-03-24 13:10:16

标签: hadoop mapreduce hdfs

我将Reducer设置为0,只运行Mapper作业。让我们说10个节点正在执行Mapper作业。 据我所知,10个Mappers在HDFS中生成10个文件。但是,结果的最终输出会生成多少个文件?

1 个答案:

答案 0 :(得分:0)

没有reducers的作业是一个Map-only作业,每个mapper都会生成一个输出文件。

请检查this answer

  

当你有一个只有地图的任务时,根本没有洗牌,这就是   表示映射器将最终输出直接写入HDFS。