如何在气流中组合多个DAG

时间:2019-09-23 15:25:54

标签: python python-3.x airflow directed-acyclic-graphs

我真的需要知道如何使用Airflow来使多个DAG相互调用(例如DAG_1 >> DAG_2),类似于它如何使用上游/下游操作员在DAG中运行任务。我需要知道如何进行设置,以便DAG_1成功完成后,Airflow将运行DAG_2,然后运行DAG_1

最好将DAG_1DAG_2放在Airflow dag 文件夹中的单独文件中,然后要么DAG_2调用DAG_1作为运行开始时的第一步,或者有一个单独的“主” DAG,该DAG创建并运行一个DAG,其中每个任务是另一个DAG,而不是任务操作员。

如果有人知道该怎么做,请告诉我,我真的需要一些帮助。如果有人知道如何在同一文件中制作和连接两个独立的DAG,我也将接受,但最好链接的DAG将位于不同的文件中。

预先感谢您的帮助。

1 个答案:

答案 0 :(得分:3)

您可以使用TriggerDagRunOperator,它将DAG id作为参数并触发它

请参见官方示例here