每小时运行任务的apache airflow外部任务传感器

Question

在apache airflow中，可以将日常工作中的外部任务传感器添加到每小时运行的作业中。

我们有一个场景，在日常工作中我们需要一些由日常工作更新的列。

但有些时候，23：00的每小时工作在每日工作开始前没有完成。

在这种情况下，我们错过了每小时工作所做的一些更新。

我们可以从日常工作中添加对每小时工作的依赖吗？

Answer 1

您可以在每小时DAG结束时创建一个文件（即SUCCESS）（删除SUCCESS作为此dag的第一个任务），并在日常工作中添加文件传感器任务。

在这种情况下，只要您的每小时任务运行，您的日常工作就无法执行。