如何在每个节点中修改hadoop 2.6中的任务数量?
我发现我们必须使用yarn.nodemanager.resource.memory-mb
和yarn.nodemanager.resource.cpu-vcores
。
我想每个节点只使用1个任务。我应该配置xml文件吗?具体配置是什么?。
或者我们只是提到mapreduce.job.maps
到1的价值?
如果我使用hadoop 1.2版,我是否只需在mapred-site中修改此参数
价值为1的mapred.tasktracker.map.tasks.maximum
?
答案 0 :(得分:0)
在MR1中,mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum属性决定了每个TaskTracker有多少个map和reduce插槽。
YARN中不再存在这些属性。相反,YARN使用yarn.nodemanager.resource.memory-mb和yarn.nodemanager.resource.cpu-vcores,它们控制每个节点上的内存和CPU数量,两者都可用于映射并减少。
本质: YARN没有TaskTrackers,只是通用的NodeManagers。因此,不再有Map插槽和Reduce插槽分离。一切都取决于使用/需要的内存量
使用网络用户界面,您可以获得大量监控/管理员信息:
NameNode - http://:50070/ 资源经理 - http://:8088/