每天DAG依赖于每周(周末)DAG时,气流中是否有办法?

时间:2020-05-29 13:19:36

标签: python-3.x airflow data-pipeline

我有这些Dags DAG_A(每天运行),DAG_B(周一至周五运行)和DAG_C(在周六和周日运行),其中DAG_A依赖于DAG_B和DAG_C。 我尝试使用外部任务传感器设置依赖项,但是每次我的调度程序停止运行并且Dag都不成功

1 个答案:

答案 0 :(得分:0)

您可以尝试使用TriggerDagRunOperator从另一个调用一个DAG。

详细信息可在操作员TriggerDagRunOperator Airflow文档中找到。

https://airflow.apache.org/docs/stable/_api/airflow/operators/dagrun_operator/index.html#airflow.operators.dagrun_operator.TriggerDagRunOperator

完成运行后,从DAG_B和DAG_C调用DAG_A。