标签: hadoop mapreduce hdfs
我将Reducer设置为0,只运行Mapper作业。让我们说10个节点正在执行Mapper作业。 据我所知,10个Mappers在HDFS中生成10个文件。但是,结果的最终输出会生成多少个文件?
答案 0 :(得分:0)
没有reducers的作业是一个Map-only作业,每个mapper都会生成一个输出文件。
请检查this answer:
当你有一个只有地图的任务时,根本没有洗牌,这就是 表示映射器将最终输出直接写入HDFS。