我正在使用气流安排一个火花工作,我需要一个DAG"连续运行" - 就像我只想要一个DAG运行,当它完成时,再次启动一个新的DAG实例。
我脑子里有两个选择:
1.一次只允许运行一个DAG实例并更频繁地运行DAG
2.在需要时让另一个DAG观看并开始。
有没有人实现它?建议?谢谢!
答案 0 :(得分:0)
为什么需要气流才能做到这一点? 您可以在spark工作中实现无限循环。看起来效率更高。
答案 1 :(得分:0)
Schedule a continually airflow DAG run
<块引用>您应该能够在最后一个任务完成后使用 TriggerDagRunOperator 重新运行 DAG。