Question

我的组织目前正在使用Hortonworks HDP来管理我们的Hadoop群集。默认的YARN调度程序是Capacity Scheduler。我想切换到Fair Scheduler。我是HDP的新手。

如果没有群集管理套件，可以通过编辑 yarn-site.xml 并将yarn.resourcemanager.scheduler.class属性更改为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler来完成此操作并创建一个额外的 fair-scheduler.xml 文件，以指定here所述的队列配置，然后通过在 yarn中设置yarn.scheduler.fair.allocation.file属性将YARN引用到该配置-site.xml

现在在Ambari中，虽然可以通过UI更改yarn.resourcemanager.scheduler.class属性，并添加新的自定义属性yarn.scheduler.fair.allocation.file，但我不能（为了上帝之爱）找到一种方法ambari读取 fair-scheduler.xml 而不是 capacity-scheduler.xml 。

所以我的问题是;如何通过Ambari切换到公平调度程序？必须有一个简单的方法，对吗？

Properties in capacity-scheduler.xml

Answer 1

在您的RM节点上，使用fair-scheduler.xml的完整路径（或在ambari下的自定义yarn-site中）设置yarn.scheduler.fair.allocation.file。

tail -n 1000 /var/log/hadoop-yarn/yarn/hadoop-yarn-resourcemanager-master.log | grep "fair-scheduler.xml"

重新启动ResourceManager后，您应该看到它正在加载文件：

2019-02-19 15:49:26,358 INFO  fair.AllocationFileLoaderService (AllocationFileLoaderService.java:reloadAllocations(230)) - Loading allocation file file:/usr/hdp/current/hadoop-client/conf/fair-scheduler.xml

适用于Hdp 3.1.1，也可能适用于3.0.0

在Hortonworks数据平台上从Capacity Scheduler切换到Fair Scheduler

1 个答案: