如何知道分配给映射器的总行数

Question

我正在运行mapreduce工作。

我通过设置max_input_split_size字段来决定映射器的数量。 让我们说输入文件的大小为1GB，max_input_split_size = 1mb。 因此，每个映射器将在文件中分配一些行数。

让我们说每个映射器都分配了k行。

有没有办法找到这个值k。

Answer 1

无法获得k的值，即没有分配给映射器的行。它将根据拆分大小拆分文件，并将块分配给映射器。