Question

我试图理解为什么应该等待数据集的oozie 4.2协调器作业多次触发。我的协调员工作看起来像这样

<coordinator-app name="ConfirmDataMasterTrigger" 
             frequency="${frequencyMins}"
             start="${startTime}" 
             end="${endTime}" 
             timezone="${timeZoneDef}"
             xmlns="uri:oozie:coordinator:0.4"
             xmlns:sla="uri:oozie:sla:0.2">
    <controls>
            <timeout>${TimeOutMins}</timeout>
            <concurrency>${Concurrency}</concurrency>
            <execution>${Execution}</execution>
    </controls> 
     <datasets> 
            <dataset name="inputDS" 
                     frequency="${coord:days(1)}" 
                     initial-instance="${startTime}" 
                     timezone="${timeZoneDef}">

                    <uri-template>${triggerFileDir}</uri-template>
                    <done-flag></done-flag>
            </dataset>
    </datasets>
    <input-events>
            <data-in name="ConfirmDataMasterTrigInput" 
                     dataset="inputDS">
                    <instance>${coord:current(0)}</instance>
            </data-in>
    </input-events>
    <action>
            <workflow>
                    <app-path>${workflowAppPath}</app-path>
                    <configuration>
                      <property>
                        <name>SaveDateString</name>
                        <value>${coord:formatTime(coord:actualTime(),"-yyyyMMdd-HHmmss")}</value>
                      </property>
                      <property>
                        <name>WaitForThisInputData</name>
                        <value>${coord:dataIn('ConfirmDataMasterTrigInput')}</value>
                      </property>
                    </configuration>
            </workflow>
    </action>

使用看起来像这样的属性文件

nameNode=hdfs://hc1m1.nec.co.nz:8020
jobTracker=hc1r1m2.nec.co.nz:8050
hdfsUser=oozie
wfProject=ConfirmDataMaster
oozie.libpath=${nameNode}/user/oozie/share/lib
oozie.use.system.libpath=true
oozie.wf.rerun.failnodes=true
moveFile=ConfirmDataMaster_edit.csv
sourceDir=${nameNode}/mule/sheets/input/ConfirmDataMaster/
targetDir=/mule/sheets/store/
sourceFile=${sourceDir}${moveFile}
targetFile=${targetDir}${moveFile}
frequencyMins=10
startTime=2016-07-31T12:00Z
endTime=2099-01-01T12:00Z
timeZoneDef=GMT+12:00
TimeOutMins=10
Concurrency=1
Execution=FIFO
triggerDir=trigger/
triggerFileDir=${sourceDir}${triggerDir}
doneFlag=trigger.dat
workflowAppPath=${nameNode}/user/${hdfsUser}/wf/${wfProject}
oozie.coord.application.path=${nameNode}/user/${hdfsUser}/wf/${wfProject}

我在使工作流程被a触发时没有问题协调员给出基于数据集的事件。我所看到的是，不断触发的是不足的工作流程。任何人都可以建议我应该做出的改变或我的错误。显然，我的工作流程会清理并删除触发路径。提前致谢。

Answer 1

我回答了我自己的问题，因为我已经找到了解决方案而且它有点显而易见。我有点困惑。点火频率由协调器和数据集频率以及触发目录和文件控制。如果你不想要一个触发器文件，那么将done-flag留空。如果未添加，则默认标志文件为_SUCCESS。

因此，如果触发器可用，则工作流将以指定的频率触发。所以我把我的电线和数据集频率改为30（分钟）。作为最后的任务，我的工作流程会删除触发器

Oozie协调员 - 基于文件事件的触发器 - 多次触发

1 个答案: