在YARN中设置作业优先级

Question

我的群集（HDP）正在使用YARN容量调度程序。 nameNode UI显示版本2.7.1.2.4.3.30 我试图在我的配置单元脚本中将作业优先级设置为HIGH：

set mapreduce.job.priority=HIGH; 

但是我发现资源分配没有区别。 我在yarn-site.xml中看不到属性yarn.scheduler.fair.preemption。 此外，Tez的等效属性是什么？

Answer 1

由于使用Hadoop 2.7.1，因此必须在yarn-site.xml中显式设置yarn.scheduler.fair.preemption。不将其设置为true会导致优先级无法正常工作，因为yarn.scheduler.fair.preemption = false的默认值。

关于您关于Tez的问题，没有类似的内容。您可能需要阅读更多有关抢占方式here的信息！