气流:从新时间表开始重新运行DAG

时间:2019-07-09 04:59:51

标签: python kubernetes airflow airflow-scheduler

背景故事:我每天运行一次Airflow作业,start_date是2019年7月1日。收集的作业要求第三方提供每天的数据,然后将这些数据加载到我们的数据库中。 / p>

成功完成工作几天后,我意识到第三方数据源每月仅刷新一次数据。因此,我每天只是下载相同的数据。

那时,我将start_date更改为一年前(以获取前几个月的信息),并将DAG的时间表更改为每月运行一次。

我如何(在气流UI中)完全重新启动DAG,以使其能够识别我的新start_date和计划,并像DAG是全新的那样运行完整的回填?

(我知道可以通过命令行请求回填。但是,我没有命令行界面的权限,并且管理员无法访问。)

1 个答案:

答案 0 :(得分:2)

在“ Dag Runs”列的绿色圆圈中,单击Web界面中有问题的作业。这会将您带入所有成功运行的列表。

勾选列表标题左上角的复选标记以全选 实例,然后在上方的菜单中选择“已选择”,然后在下拉菜单中选择“删除”。这应该清除所有现有的dag运行实例。

如果您的Airflow实例上未启用catchup_by_default,请确保在DAG上设置catchup=True,直到它完成追赶。