我试图了解Airflow的状况。我已经使用catchup = False参数设置了DAG。但是,当我启用它时,它只会从start_date开始运行作业。我还尝试将airflow.cfg设置为False,但也没有运气。
此外,我一直在尝试了解透明和回填的工作原理。如果当前日期在start_date之前,clear似乎只会将状态设置为NULL,但如果在start_date之后,则会清除状态并触发日期的dag。我想清除任何日期,以便将当天管道的状态简单地设置为“无”,就像在start_date之前一样。
这是已知的气流错误吗?我的用例是能够清除任何日期范围,然后在相同的日期范围内运行回填。
答案 0 :(得分:0)
对于您的问题有疑问:我会说这是一个功能,而不是错误。从操作的角度来看,这非常方便。
当DAG运行并且其任务之一失败时,也许有些事情可以纠正,使该任务(和相关任务)成功。因此,如果您去纠正该问题(例如,缺少连接定义,防火墙问题等),则可以清除该任务(以及下游任务),然后调度程序会自动将DAG置于运行状态并重新启动DAG。已清除的任务。