为什么在清除其他任务时,Airflow会重新计划当时不存在的任务

时间:2019-06-11 18:27:50

标签: airflow

清除2019年1月和2月的DAG任务时,我注意到该DAG当时不存在的所有任务都已触发。

  • 我想知道为什么会这样。我认为调度程序有点“被迫”查看一月和二月的DAG运行,并且由于当时不存在的任务从未在这些执行日期运行过,因此它们被触发了。但是,我想在这种模糊的情况理解上打上具体的字眼。

  • 我可以避免这种情况吗?这会造成意想不到的行为,让我怀疑在开始一个已经过去很长时间的大型重放之前:)

1 个答案:

答案 0 :(得分:0)

我们也遇到了这个问题,我认为这是有道理的。根据Airflow文档所述。

  

一旦清除了DAG,它将被清除,就好像它从未运行过一样。   因此,据我了解,它将再次检查所有dag和任务实例,运行所有任务,直到达到计划时间为止。

  • 我能避免这种情况吗?我不是气流专家,但我认为到目前为止,我们还不能。我们通常要做的是复制要重新运行的DAG,并设置开始日期结束日期,这样它就不会干预当前正常运行的DAG。