如何将每个节点的任务数设置为1

时间:2015-05-21 14:56:31

标签: hadoop mapreduce numbers task

如何在每个节点中修改hadoop 2.6中的任务数量? 我发现我们必须使用yarn.nodemanager.resource.memory-mbyarn.nodemanager.resource.cpu-vcores

我想每个节点只使用1个任务。我应该配置xml文件吗?具体配置是什么?。

或者我们只是提到mapreduce.job.maps到1的价值?

如果我使用hadoop 1.2版,我是否只需在mapred-site中修改此参数  价值为1的mapred.tasktracker.map.tasks.maximum

1 个答案:

答案 0 :(得分:0)

在MR1中,mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum属性决定了每个TaskTracker有多少个map和reduce插槽。

YARN中不再存在这些属性。相反,YARN使用yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores,它们控制每个节点上的内存和CPU数量,两者都可用于映射并减少。

本质: YARN没有TaskTrackers,只是通用的NodeManagers。因此,不再有Map插槽和Reduce插槽分离。一切都取决于使用/需要的内存量

使用网络用户界面,您可以获得大量监控/管理员信息:

NameNode - http://:50070/ 资源经理 - http://:8088/