oozie和Hadoop调度程序(FIFO,公平,容量,延迟等)之间有什么区别?生产环境中通常使用哪种?
答案 0 :(得分:1)
它们提供不同的功能。
Oozie是一个工作计划程序和编排引擎。它将在配置的队列中执行YARN作业。例如,在MR / Java操作中为mapreduce.job.queuename
,在Hive Action中(在Tez上)为tez.queue.name
,在Spark中为--queue
。
您使用的队列取决于您拥有的工作负载,但“公平”或“容量”最适合多租户工作负载。
如果您有需要先执行的作业,则队列中的FIFO排序最有效,尽管Oozie对如何订购完整的作业有自己的定义