HADOOP - 作为映射器输出生成的输出文件数

Question

我想知道如果只运行一个映射器（没有减速器，没有组合器等），将生成多少个文件 对于所有文件拆分。

例 - 如果有4个文件分割。然后有一个mapper将处理所有文件分割。 映射器输出有多少个文件？ - ＆GT;一个或四个

Answer 1

每个地图任务都会生成一个输出文件。如果HDFS上有一个文件被分成四个块，您将从Map-Only作业中获得四个输出文件。如果输入文件不是可拆分格式（如GZip），它将被合并，只有一个映射器将对其进行操作，输出一个文件。