当我在Airflow上开发并打开我的DAG时,它会失败,例如,步骤6,并且步骤7-9将无法启动。但在我调试问题之前,下一个实例(我将过去的start_date)开始并一直运行到第5步并在第6步失败,完全弄乱了我的工作流程。这种行为是期望的,还是可以关闭,这样下一个实例才会启动,直到这个实例到处都是绿色?
答案 0 :(得分:1)
检查文档以了解您可以在运算符上设置的以下两个选项。
depends_on_past(bool) - 当设置为true时,任务实例将依次运行,同时依赖上一个任务的计划成功。允许start_date的任务实例运行。
wait_for_downstream(bool) - 当设置为true时,任务X的实例将等待紧接上一个任务X实例下游的任务在运行之前成功完成。如果任务X的不同实例更改同一资产,并且任务X的下游任务使用此资产,则此操作非常有用。请注意,在使用wait_for_downstream的任何地方,depends_on_past都将强制为True。