气流-定义DAG可以运行的持续时间

Question

我只是想弄清楚是否有办法限制DAG在气流中的持续时间。例如，将DAG可以运行的最长时间设置为30分钟。

Answer 1

DAG确实具有dagrun_timeout参数，但是仅当达到DAG的max_active_runs时才有效（默认为16）。例如，如果您有15个活动DAG，则调度程序将仅启动16号。但是在启动下一个之前，调度程序将等待，直到之前的一个完成或超过超时时间。

但是您可以将execution_timeout用于任务实例。此参数无条件起作用。