拥有多个Reducer可在HDFS中创建多个输出文件

Question

如果我有多个Reducer，输出会保存为多个文件吗？

如果我有job.setNumReduceTasks(4)，输出会写入4个不同的文件吗？

Answer 1

在map-reduce作业中，如果设置4个reducer来实现reducer作业。通过这样做，最终输出将生成4个部分文件。例如 part-r-00001 ， part-r-00002 ， part-r-00003 ， part-r-00004 。希望这能澄清你的疑虑。