我有一个Oozie作业,可以递增地处理数据。展望未来,我希望每小时完成这项工作,以便尽快准备结果。但要回填旧数据,运行顺序作业会更快,一次处理一周的数据。
是否可以拥有一个允许这两种模式的coordinator.xml
文件,只需在安排作业时根据ad-hoc指定的标志进行选择?
在<coordinator-app>
中的coordinator.xml
标记的参数中,只有一个频率,这表明这是不可能的,至少不是以自然的方式。
答案 0 :(得分:0)
我认为在协调员中有一种简单的方法可以做不同的频率。根据您的描述,在回填发生后您不需要每周工作。 我想你必须改变工作流程的参数化以处理更多或更少的数据。
另一方面,您可以使用您想要的频率启动协调器,并调整并发,限制和执行in the app definition等参数,以便Oozie可以通过执行工作流来咀嚼积压工作平行。
答案 1 :(得分:0)
我的最终解决方案是以给定的频率(例如每天)创建工作流,然后创建具有不同频率(每周或每月)的第二个“回填”工作流,将原始工作流称为 {{3} }.