输入事件的Trigg Oozie工作流(即使丢失)

时间:2019-07-03 10:31:40

标签: apache-spark hdfs oozie oozie-coordinator oozie-workflow

我有在HDFS路径上具有输入事件的经典协调器。

<datasets>
    <dataset name="rawData" frequency="${coord:days(1)}" initial-instance="${startDate}" timezone="UTC">
        <uri-template>
            ${rawData}/${YEAR}${MONTH}${DAY}
        </uri-template>
        <done-flag>_SUCCESS</done-flag>
    </dataset>
</datasets>



<input-events>
    <data-in name="inputRawData" dataset="rawData">
        <instance>${coord:current(0)}</instance>
    </data-in>
</input-events>

运行良好。 现在,我想强制工作流在X次之后输入事件仍然不好的情况下甚至运行。

PseudoCode:

Wait inputEvent

If(inputEvent):
    run.

else if(waitTme > 10min):
    run.

我的应用程序将读取特定HiveTables中的lastAvailable数据。

谢谢。

0 个答案:

没有答案