如果已经运行了多次相同的dag,又会如何呢?

时间:2019-10-09 22:50:41

标签: python airflow

如果同时触发同一dag(或运行时间重叠)会发生什么?

询问是因为最近手动触发了一个dag,但在经过其实际计划的运行时间后,该dag仍在运行,这时从Web服务器UI的角度来看,它从头开始重新运行(我无法跟踪以前的实例)。这是“运行实例”重载dag_id的一种情况,还是该作业实际上是在重新启动(即,先前的进程被杀死了)?

1 个答案:

答案 0 :(得分:1)

据我了解,这取决于触发方式以及DAG是否有时间表。如果它基于DAG中定义的计划,则说每天要运行的任务不完整/仍在运行,然后单击重新运行,则该任务实例将重新运行。即今天的那个。同样,如果频率是其他任何时间单位。

  

请注意,也可以在运行气流trigger_dag命令时通过CLI手动创建DAG运行,您可以在其中定义特定的run_id。在调度程序外部创建的DAG运行将与触发器的时间戳相关联,并将与预定DAG运行一起显示在UI中。

在您的情况下,听起来像是后者。希望有帮助。