Oozie协调员如何对基础工作流程的变化做出反应?

时间:2017-01-06 07:52:00

标签: hadoop oozie cloudera-cdh oozie-coordinator

我对Apache Oozie有疑问,更具体地说是关于CDH发行的问题。

当协调员使用的工作流程被修改后会发生什么? 例如,工作流现在使用一个额外的参数,该参数由变量自动填充。从理论上讲,这不需要对协调员进行任何更改。 运行协调器是否仍然使用初始工作流的配置,或者它们是否动态适应新的工作流。如果他们仍然使用旧配置,那么我是否需要定义新的协调员或者重新提交相同的协调员?

1 个答案:

答案 0 :(得分:2)

这是它的工作原理:每个提交的协调器都有一组固定的变量和参数(配置文件)。 -change选项允许您更改协调器的以下属性:

  • endtime:协调员工作的结束时间。
  • 并发:协调器作业的并发性。
  • pausetime:协调员作业的暂停时间。

除了协调员协调员名称,频率,开始时间,结束时间和时区之外的所有内容都可以使用-update选项进行更改。有关详细信息,请参阅官方文档:

http://oozie.apache.org/docs/4.3.0/DG_CommandLineTool.html#Updating_coordinator_definition_and_properties

在配置文件中,您通常指向hdfs中的协调器文件,然后该文件指向hdfs中的工作流文件。如果您在hdfs中更改其中任何一个,则协调器下次触发它时将使用新的/已修改的文件。对于工作流操作中使用的所有文件,情况也是如此,例如shell脚本,Jar文件,......