气流 - 如何忽略回填中的成功任务？

Question

我已向DAG添加了新任务，需要回填它们。目前，当我运行standalone.sh时，它会运行所有任务（新任务和旧任务），我想忽略已经成功的旧任务。

有没有办法在回填中跳过成功状态的任务？

Answer 1

从Airflow版本1.8.1开始，成功的任务不应由回填计划，请参阅AIRFLOW-1124。

请注意，您还可以指定要在回填中运行的任务：

-t TASK_REGEX, --task_regex TASK_REGEX
                    The regex to filter specific task_ids to backfill
                    (optional)

如果您的新任务依赖于任何可能未成功的旧任务，则ignore dependencies标志也可以帮助您。

-i, --ignore_dependencies
                    Skip upstream tasks, run only the tasks matching the
                    regexp. Only works in conjunction with task_regex