重新运行失败的SubDAG

时间:2018-04-20 17:56:24

标签: airflow

我一直在玩SubDAG。我遇到的一个大问题是SubDAG中的某些内容失败,我通过点击Clear重新运行,只有已清除的任务才会重新运行;成功不会传播到SubDAG中的下游任务并让它们运行。

如何在SubDAG中重新运行失败的任务,以便下游任务正确流动?现在,我必须重新运行SubDAG中失败任务下游的每个任务。

我认为我遵循了SubDAG的最佳实践; SubDAG尽可能继承Parent DAG属性(包括schedule_interval),并且我不会在UI中打开SubDAG;父DAG打开并改为触发它。

1 个答案:

答案 0 :(得分:0)

一些解决方法,但是如果您始终给定任务task_id-s,则可以尝试通过Airflow CLI(命令行界面)进行回填:

airflow backfill -t TASK_REGEX ... dag_id

其中TASK_REGEX对应于您要重新运行的任务的命名模式及其依赖性。

(记住添加the command line options的其余部分,例如--start_date)。