以两种不同的频率安排Oozie工作流程

时间:2018-06-15 12:57:59

标签: oozie oozie-coordinator

我有一个Oozie作业,可以递增地处理数据。展望未来,我希望每小时完成这项工作,以便尽快准备结果。但要回填旧数据,运行顺序作业会更快,一次处理一周的数据。

是否可以拥有一个允许这两种模式的coordinator.xml文件,只需在安排作业时根据ad-hoc指定的标志进行选择?

<coordinator-app>中的coordinator.xml标记的参数中,只有一个频率,这表明这是不可能的,至少不是以自然的方式。

2 个答案:

答案 0 :(得分:0)

我认为在协调员中有一种简单的方法可以做不同的频率。根据您的描述,在回填发生后您不需要每周工作。 我想你必须改变工作流程的参数化以处理更多或更少的数据。

另一方面,您可以使用您想要的频率启动协调器,并调整并发,限制和执行in the app definition等参数,以便Oozie可以通过执行工作流来咀嚼积压工作平行。

答案 1 :(得分:0)

我的最终解决方案是以给定的频率(例如每天)创建工作流,然后创建具有不同频率(每周或每月)的第二个“回填”工作流,将原始工作流称为 {{3} }.