每天重新运行oozie工作流程

时间:2017-01-12 00:11:01

标签: hadoop apache-pig workflow oozie oozie-coordinator

我有一个Oozie协调员,在启动时将其开始时间设置为365天前,然后以每日频率运行其工作流程,直到达到具有输入数据的最新日期。所以coordinator.xml看起来像这样:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<coordinator-app name="${jobName}" frequency="${coord:days(1)}" start="${startTime}" end="${endTime}" timezone="${timezone}" xmlns="uri:oozie:coordinator:0.2">
    <controls>
        <timeout>-1</timeout>
        <concurrency>30</concurrency>
        <execution>FIFO</execution>
    </controls>

    <datasets>
        <dataset name="myData" frequency="${coord:days(1)}" initial-instance="${initialTime}" timezone="${timezone}">
            <uri-template>${outputPath}/${YEAR}${MONTH}${DAY}</uri-template>
        </dataset>
    </datasets>

    <input-events>
        <data-in name="myInput" dataset="myData">
            <instance>${coord:current(-1)}</instance>
        </data-in>
    </input-events>

    <action>
        <workflow>
            <app-path>${appPath}</app-path>
            <configuration>
                <property>
                    <name>myInput</name>
                    <value>${coord:dataIn('myInput')}</value>
                </property>
                <property>
                    <name>date</name>
                    <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), 'yyyyMMdd')}</value>
                </property>
            </configuration>
        </workflow>
    </action>    
</coordinator-app>

启动时,此协调器会触发365个工作流程。然后第二天,它只为当天的输入数据运行一个工作流程。等等。第二天。

现在需求已经改变,我需要每天运行365个工作流,而不仅仅是第一次!所以在启动时,我希望它像现在一样运行。但是第二天,当输入数据可用时,我需要返回并再次运行过去365天的每日工作流程。一旦检测到新的输入数据,就等等每个后续日期。

我怎样才能做到这一点? 谢谢,

阿尔瓦罗

2 个答案:

答案 0 :(得分:0)

在协调员的data-in标记中,使用start-instanceend-instance指定要视为输入的实例范围。

start-instance:是指实例范围的开头(同步数据集的时间)。 end-instance:是指实例范围的结束(同步数据集的时间)。

<input-events>
    <data-in name="myInput" dataset="myData">
        <start-instance>${coord:current(-365)}</start-instance>
        <end-instance>${coord:current(-1)}</end-instance>
    </data-in>
</input-events>

有关详细信息,请参阅:Synchronous Coordinator Application Definition

答案 1 :(得分:0)

您可以使用子工作流以递归方式调用主工作流。