公平和容量调度程序之间有什么区别？

Question

我是Hadoop世界的新手，想要了解公平和容量调度程序之间的区别。我们什么时候应该使用每一个？请以简单的方式回答，因为我在互联网上阅读了很多东西，但我从中得不到多少。

Answer 1

公平调度是一种为工作分配资源的方法，使得所有工作平均可以随时间获得相等的资源份额。当单个作业正在运行时，该作业将使用整个群集。提交其他作业时，将释放的任务槽分配给新作业，以便每个作业获得大致相同的CPU时间。与构成作业队列的默认Hadoop调度程序不同，这样可以在合理的时间内完成短作业，同时不会使长作业匮乏。它也是在多个用户之间共享群集的合理方式。最后，公平共享也可以与工作优先级一起使用 - 优先级用作权重来确定每个工作应该获得的总计算时间的比例。

CapacityScheduler旨在允许共享大型群集，同时为每个组织提供最低容量保证。中心思想是Hadoop Map-Reduce集群中的可用资源在多个组织之间进行分区，这些组织根据计算需求共同为集群提供资金。还有一个额外的好处是，组织可以访问其他人未使用的任何剩余容量。这为组织提供了具有成本效益的弹性。

Answer 2

以下是两个调度程序的功能比较。

Answer 3

Fair Scheduler，分配资源池（按权重），并在每个池内公平共享

Capacity Scheduler，将资源分配给池，并在每个池中进行FIFO调度

容量调度程序旨在允许共享大型群集，同时为每个组织提供容量保证。可能会导致多余的容量不被其他人使用。