在气流中,有没有一种方法可以调用另一个dag的任务?

时间:2017-07-24 01:46:14

标签: airflow apache-airflow

我有dag_prime和dag_tertiary。

  • dag_prime:浏览目录并打算调用dag_tertiary 每一个。目前是一个PythonOperator。
  • dag_tertiary:扫描传递给它的目录,并对其内容进行(可能是时间密集的)计算。

我可以从python运算符的系统调用中调用辅助函数,但我觉得必须有更好的方法。如果有一个简单的方法,我还想考虑排队dag_tertiary调用。有没有比使用系统调用更好的方法?

谢谢!

1 个答案:

答案 0 :(得分:7)

使用TriggerDagRunOperator从另一个DAG调用一个DAG。

详情可在https://airflow.apache.org/code.html?highlight=triggerdagrun#airflow.operators.TriggerDagRunOperator

找到

以下帖子给出了使用此运算符的一个很好的示例: https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand