清除失败的气流DAG,但不要重新启动

时间:2020-07-15 18:38:31

标签: airflow directed-acyclic-graphs

我正在运行一个自定义回填脚本,该脚本可以按序列回填DAG。 (如果同时运行回填,则可能会遇到死锁问题或可序列化的隔离问题。)作为该过程的一部分,有时我会将失败的DAG与不存在的日期混合在一起。要回填那个失败的日期,我需要先清除它。问题在于清除的DAG会自动重新启动,并且与回填中运行的第一个日期发生冲突。

airflow clear dag_id -f -s 01-01-20 -e 01-12-20 -f

由于它的构建方式,我将不得不从头开始重写它,并分别清除每个回填。如果我可以阻止已清除的DAG重新运行,则可以节省一些时间。 cli中有没有办法做到这一点?

1 个答案:

答案 0 :(得分:0)

创建1对象时,可以尝试将max_active_runs参数设置为DAG。这样可以确保一次执行不超过一个执行,这样您就可以清除任意数量的内容并让Airflow处理其余的操作。