我在Hadoop中配置了一个作业，并将代码中的地图任务数设置为8。 但是当我运行这份工作时，将启动152个地图任务。
我不知道为什么我的配置被覆盖以及数字152的来源。
供您参考：在我的mapred-site.xml中，“mapred.map.tasks”的值为24。
有人有想法吗？
答案 0 :(得分：1)
Hadoop在分割数据时设置的最小地图任务数。您无法将最大值设置为低于最小值。
来自Hadoop wiki：
也可以使用JobConf的conf.setNumMapTasks（int num）手动增加地图任务的数量。这可用于增加地图任务的数量，但不会将数字设置为低于Hadoop通过拆分输入数据确定的数量。