清除成功回填运行中的任务后,将创建具有运行状态的DagRun,但调度程序不会选择它。这是预期的行为吗?
如果有很多这样的DagRun,并且执行了backfill命令,则所有DagRun将同时运行,而不遵循max_active_runs参数。
到目前为止,我发现的唯一解决方法是清除任务,然后通过UI将dagrun(不是任务实例)标记为成功,然后运行回填。
答案 0 :(得分:0)
计划程序不会选择手动创建的DagRun(包括airflow backfill
),而只会选择计划的。您应该执行airflow clear
,然后再次运行airflow backfill
。
至于回填不遵守max_active_runs
,我相信这已由https://github.com/apache/airflow/pull/2454解决。您使用的是什么气流版本?