如何在Apache Airflow中重新运行所有失败的任务?

时间:2018-12-27 13:32:46

标签: airflow

我有一个包含成千上万个任务的Apache Airflow DAG,运行后,说其中有几个失败了。

我修复了导致某些任务失败的错误,我想重新运行“仅失败的任务”。 这篇SO帖子建议使用GUI“清除”失败的任务:

How to restart a failed task on Airflow

如果您有少量失败的任务,则此方法有效。

我想知道我们是否可以通过命令行之类的方法绕过GUI并有问题地这样做:

airflow_clear_failed_tasks dag_id execution_data 

2 个答案:

答案 0 :(得分:3)

更新了仅清除失败任务的命令。现在是(截至 2021 年 3 月的 Airflow 2.0):

airflow tasks clear [-s START_DATE] [-e END_DATE] --only-failed dag_id

答案 1 :(得分:1)

使用以下命令仅清除失败的任务:

airflow clear [-s START_DATE] [-e END_DATE] --only_failed dag_id

文档:https://airflow.readthedocs.io/en/stable/cli.html#clear