Hadoop调度程序与Oozie

时间:2018-08-26 18:49:03

标签: hadoop yarn oozie

oozie和Hadoop调度程序(FIFO,公平,容量,延迟等)之间有什么区别?生产环境中通常使用哪种?

1 个答案:

答案 0 :(得分:1)

它们提供不同的功能。

Oozie是一个工作计划程序和编排引擎。它将在配置的队列中执行YARN作业。例如,在MR / Java操作中为mapreduce.job.queuename,在Hive Action中(在Tez上)为tez.queue.name,在Spark中为--queue

您使用的队列取决于您拥有的工作负载,但“公平”或“容量”最适合多租户工作负载。

如果您有需要先执行的作业,则队列中的FIFO排序最有效,尽管Oozie对如何订购完整的作业有自己的定义

也:Job and Task Scheduling In Hadoop