气流查找具有特定配置的DAG运行

Question

我正在使用 apache-airflow 1.10.10 。

我的用例是：我有4个DAG，在完成一些工作之后，它们都使用 BashOperator 触发了一个名为"dag_common"且具有不同conf参数的通用DAG。

airflow trigger_dag -c {"id":"1"} dag_common

airflow trigger_dag -c {"id":"2"} dag_common

airflow trigger_dag -c {"id":"3"} dag_common

airflow trigger_dag -c {"id":"4"} dag_common

在这些DAG中，我必须等待触发的DAG完成，如何才能做到这一点？

Dag1必须等到配置dag_common结束id=1。 有什么办法可以找到所有带有特定conf的dag运行？

Answer 1

这似乎是SubDAGs的用例：将dag_common作为subDAG并在这四个DAG中使用SubDagOperator()来运行dag_common。