Apache Airflow-无论以前的进程成功与否,都必须始终在进程中运行一个进程

时间:2018-08-02 14:41:58

标签: airflow

这通常适用于关闭某些计算机。

说我启动一个AWS EC2 / EMR实例来做一些工作,并且我想关闭它以避免将它放在那儿。

我通常会做

start instance -> do my work1 -> do my work 2 -> shut down instance

但是假设do my work 2失败,并且shut down instance将永远不会被触发。有没有办法仍然触发dag的shut down instance部分?

1 个答案:

答案 0 :(得分:2)

您可以更改任务的TriggerRule。听起来好像您希望触发规则为all_done,以便无论父级成功与否,都将执行最后一个任务。