如何在MapReduce中设置执行程序编号？

Question

在spark中，我们可以设置执行者编号。

在mapreduce中，如何设置执行者编号？未设置map或reduce task num，但设置executor num。

我知道如何设置vcores并记住每个地图或减少任务使用。 但是有太多的地图任务，我不希望我的工作使用太多的资源。

Answer 1

mappers的数量取决于输入数据的splits的数量，这取决于InputFormat，该用户可以提供有关mappers的数量的提示mapreduce.job.maps，但InputFormat可能会选择忽略它。减速器数量可通过mapreduce.job.reduces配置。