标签: airflow
几个月来,我一直在使用Airflow的回填。在我的配置MAX_ACTIVE_RUNS_PER_DAG=16中。因此,气流会批量创建dagrun,这意味着即使要创建约1000个dagrun,它也会创建16个dagrun,并且只有在完成后才创建下一个16个dagrun。 我的问题是,如果某个批次的任务失败,那么它将无法创建下一个批次。 有人遇到这个问题吗? 我尝试将--donot-pickle添加到命令中。 depends_on_past设置为False。
MAX_ACTIVE_RUNS_PER_DAG=16
--donot-pickle
depends_on_past