可以在MR1上使用Hadoop Fair / Capacity Scheduler吗？

Question

根据我的阅读，YARN（MRv2）允许一种插入调度程序的方法，取代默认的FIFO调度程序。我的问题是，我们可以在MRv1中做同样的事情吗？有没有办法在旧版本的Hadoop中替换FIFO调度程序，或者这只是YARN提供的东西？

Answer 1

我已经在0.20.x版本的Hadoop中使用公平的调度程序已经有一段时间了，从来没有遇到任何问题。

您可以设置以下属性：

<property> 
  <name>mapred.jobtracker.taskScheduler</name> 
  <value>org.apache.hadoop.mapred.FairScheduler</value> 
</property>

然后你可以转到http://<jobtracker URL>/scheduler

有关如何在MR1 here中设置公平调度程序的详细信息。