我有在HDFS路径上具有输入事件的经典协调器。
<datasets>
<dataset name="rawData" frequency="${coord:days(1)}" initial-instance="${startDate}" timezone="UTC">
<uri-template>
${rawData}/${YEAR}${MONTH}${DAY}
</uri-template>
<done-flag>_SUCCESS</done-flag>
</dataset>
</datasets>
<input-events>
<data-in name="inputRawData" dataset="rawData">
<instance>${coord:current(0)}</instance>
</data-in>
</input-events>
运行良好。 现在,我想强制工作流在X次之后输入事件仍然不好的情况下甚至运行。
PseudoCode:
Wait inputEvent
If(inputEvent):
run.
else if(waitTme > 10min):
run.
我的应用程序将读取特定HiveTables中的lastAvailable数据。
谢谢。