如何从不同的开始时间部署改进的气流dag?

时间:2016-03-19 06:18:29

标签: python airflow

让我们说调度程序停止了5个小时,我每小时都安排了两次dag。现在,当我重新启动调度程序时,我不希望使用airflow来回填所有错过的实例,而是希望它从当前时间开始继续。

2 个答案:

答案 0 :(得分:2)

要实现此行为,您可以使用刚刚introduced to masterLatestOnlyOperator到DAG的开头。它目前不是发布版本的一部分(1.7.1.3是撰写本文时的最新版本)。

答案 1 :(得分:1)

我确定你不再等待答案了,但作为参考,这里有所介绍:https://cwiki.apache.org/confluence/display/AIRFLOW/Common+Pitfalls

  

“当需要更改start_date和计划间隔时,更改dag的名称(a.k.a. dag_id) - 我遵循惯例:my_dag_v1,my_dag_v2,my_dag_v3,my_dag_v4等......”