Hadoop中的映射器数量

时间:2014-04-24 12:51:41

标签: hadoop mapper

假设我有100个文件,每个文件大小为100MB,块大小为64MB。

1)有多少映射器需要处理所有这100个文件。

2)我们知道输入分割大小的最大限制是块大小。所以在我们的例子中它将是64 MB。因此,如果映射器开始处理文件的输入分割,即64MB,它将如何处理剩余的36MB。这个映射器是否负责处理剩余的36MB,或者它将在其他映射器中处理?

1 个答案:

答案 0 :(得分:3)

由于您的块大小为64mb,因此将生成总共200个映射器。

同一个文件将由2个映射器处理,因为它的输入拆分位于不同的位置,一个映射器将处理前64MB而另一个映射器将处理剩余的36MB