气流追赶新任务添加到dag

时间:2020-05-12 10:34:23

标签: airflow

当您使用catchup=True部署新的DAG时,Airflow调度程序会自动调度从start_date到现在的所有任务。完成后,您会得到很多深绿色的球,这意味着过去已运行了DAG。

但是现在您想向过去的DAG运行添加新任务。我应该怎么做才能使旧的DAG运行识别新任务并运行它们?

2 个答案:

答案 0 :(得分:2)

您应该clear运行旧的DAG(也可以在GUI中完成)。已清除的运行将重新安排,包括新添加的任务。

答案 1 :(得分:1)

如果您可以访问airflow cli,则可以使用backfill command 在任何时间段内运行新任务。该命令不会重新运行已在后续 dag 运行中运行的任何任务。

回填的开始和结束日期是可选的,因此您可以直接运行

$ airflow backfill your_dag_id