Question

使用oozie我们可以在hadoop中提交作业，是否可以通过文件的可用性触发作业提交。对于成功将文件复制到hdfs后的示例，Oozie必须提交作业。这可能吗？

Answer 1

使用＆＃39; done-flag＆＃39;数据集中的标记。像

<datasets>
    <dataset name="dataset1" frequency="${coord:hours(1)}"
             initial-instance="${startTime}" timezone="UTC">
      <uri-template>
        ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/
      </uri-template>
      <done-flag>_SUCCESS</done-flag>
    </dataset>

</datasets>

如果done标志设置为空，则Coordinator会查找目录本身的存在。如果您的目录中存在_SUCCESS（或标记中指定的任何文件名）文件，则协调员将继续进行。

有关详细信息，请参阅 - https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html

在Oozie中将作业调度为文件触发器

1 个答案: