但您可以使用MRv1或MRv2样式执行作业。我认为有一些参数仅适用于像mapreduce.tasktracker.map.tasks.maximum
这样的MRv1,
这是真的 ?如果是,那么有没有更智能的方法来找出所有这些参数?
我们可以通过-Dproperty = value或-D property = value传递所有参数,还是有任何参数,我不能这样传递?
答案 0 :(得分:1)
在MR2中,资源管理器将根据分配给每个容器的内存动态计算映射任务的数量。
来自hortonworks
使用YARN和MapReduce 2,不再为Map和Reduce任务预先配置静态插槽。整个群集可用于动态资源分配地图,并根据作业的需要减少
此页面有更多信息。检查这个 sparse graph
您可以使用命令行中的-D property = value传递任何参数。对此没有限制。但是,如果开发人员在代码中设置了这些属性,那么命令行属性将被作业覆盖。