hadoop作业中正在运行的映射器的数量

Question

使用streaming，我将map的数量设置为200，如下所示：

-D mapred.map.tasks=200 -D mapred.job.map.capacity=200

但后来我发现正在运行的地图集的数量只是 9 ， 500+ mapper任务正在等待。这看起来很奇怪我，我觉得应该200跑，对吗？为什么只跑9？

Answer 1

映射器的数量实际上由您使用的Inputformat控制。

根据格式拆分输入文件，每个拆分都会生成一个地图。

可以找到更多信息on the Apache Wiki