在Airflow中，如何创建具有多个DAG的工作流，可以通过执行该工作流来调用它？

Question

我在Airflow中创建了多个DAG，但是我想通过某个通用的Module或DAG触发所有这些DAG。是否可以创建一个类似Azkaban的工作流来在该流中列出所有被调用的DAg。

Answer 1

• 您可以通过传递DAG和其他适当的参数来创建一个DAG来触发其他dag_id使用TriggerDagRunOperator
• 运算符的来源可以在dagrun_operator.py
中找到

---

我还建议您仔细阅读文档的Scheduling and Triggers部分

Answer 2

您可以使用 SubdagOperator 。

• 主DAG将所有SubDAG视为正常任务进行管理
• Airflow管理员GUI仅在主DAG列表中列出主DAG，然后可以在GUI的“图形视图”部分中“放大”到SubDAG。
• 我们可以通过其主菜单或所有子菜单分别管理其放大选项

这是操作员的示例： https://github.com/apache/airflow/blob/master/airflow/example_dags/example_subdag_operator.py

  

我建议使用通用的dag因子创建所有子dag（如果有的话）   处于相同的模式和工作流程。