MRv1和MRv2参数

时间:2015-05-06 05:47:14

标签: hadoop mapreduce yarn mrv2

link

上给出了参数的整个列表(对于Hadoop-2.6)

但您可以使用MRv1或MRv2样式执行作业。我认为有一些参数仅适用于像mapreduce.tasktracker.map.tasks.maximum这样的MRv1, 这是真的 ?如果是,那么有没有更智能的方法来找出所有这些参数? 我们可以通过-Dproperty = value或-D property = value传递所有参数,还是有任何参数,我不能这样传递?

1 个答案:

答案 0 :(得分:1)

在MR2中,资源管理器将根据分配给每个容器的内存动态计算映射任务的数量。

来自hortonworks

使用YARN和MapReduce 2,不再为Map和Reduce任务预先配置静态插槽。整个群集可用于动态资源分配地图,并根据作业的需要减少

此页面有更多信息。检查这个 sparse graph

您可以使用命令行中的-D property = value传递任何参数。对此没有限制。但是,如果开发人员在代码中设置了这些属性,那么命令行属性将被作业覆盖。