当您使用catchup=True
部署新的DAG时,Airflow调度程序会自动调度从start_date
到现在的所有任务。完成后,您会得到很多深绿色的球,这意味着过去已运行了DAG。
但是现在您想向过去的DAG运行添加新任务。我应该怎么做才能使旧的DAG运行识别新任务并运行它们?
答案 0 :(得分:2)
您应该clear运行旧的DAG(也可以在GUI中完成)。已清除的运行将重新安排,包括新添加的任务。
答案 1 :(得分:1)
如果您可以访问airflow cli,则可以使用backfill command 在任何时间段内运行新任务。该命令不会重新运行已在后续 dag 运行中运行的任何任务。
回填的开始和结束日期是可选的,因此您可以直接运行
$ airflow backfill your_dag_id