如何为每个节点（机器）配置hadoop映射器num

Question

我遇到了问题

我的问题是我有一个工作（获取抓取工具）将 mapred.map.tasks 配置为10，这意味着我的工作将创建10个mapper一次。但我的群集配置 mapred .tasktracker.map.tasks.maximum 到12

然后每次都在一台机器上创建所有映射器

如何将所有映射器分发到所有同类机器！

非常感谢

---

有点像mapper.per.node，但我听到有人说配置被删除了。 1删除mapper.per.node时？ 2我现在该怎么办？

Answer 1

理想情况下，您应该将mapred.tasktracker.map.tasks.maximum值设置为TaskTracker节点上存在的核心数。因此，假设每个节点上有4个核心，并且作业产生10个映射任务，则可以在TaskTracker上运行的最大映射任务数为4。