Hadoop中的Terasort调度程序

时间:2013-12-18 03:07:27

标签: sorting hadoop scheduler

在Hadoop的Terasort实现中,有一个名为TeraScheduler的调度程序。阅读完代码后,调度程序基本上执行以下操作:

  1. 选择分割数最少的主机
  2. 对于此主机,选择具有最少主机数的固定数量的分组和" pin"它们将在此主机上执行。 " unchosen"拆分将从此主机中删除。
  3. 对所有主机重复此操作。
  4. 我不理解这个时间表背后的理由。它的性能如何优于默认调度程序(无论如何,默认调度程序是什么)?是否有任何文件解释其好处?

1 个答案:

答案 0 :(得分:2)

好处有两个方面: (1)尽可能在当地进行分类。 (2)将工作均匀地分配到机器上

两者都旨在提高绩效。