如何设置气流DAG连续运行

时间:2017-11-21 20:46:08

标签: python airflow apache-airflow

我正在使用气流安排一个火花工作,我需要一个DAG"连续运行" - 就像我只想要一个DAG运行,当它完成时,再次启动一个新的DAG实例。

我脑子里有两个选择:
1.一次只允许运行一个DAG实例并更频繁地运行DAG 2.在需要时让另一个DAG观看并开始。

有没有人实现它?建议?谢谢!

2 个答案:

答案 0 :(得分:0)

为什么需要气流才能做到这一点? 您可以在spark工作中实现无限循环。看起来效率更高。

答案 1 :(得分:0)

Schedule a continually airflow DAG run

<块引用>

您应该能够在最后一个任务完成后使用 TriggerDagRunOperator 重新运行 DAG。