我有dag_prime和dag_tertiary。
dag_prime
:浏览目录并打算调用dag_tertiary
每一个。目前是一个PythonOperator。 dag_tertiary
:扫描传递给它的目录,并对其内容进行(可能是时间密集的)计算。我可以从python运算符的系统调用中调用辅助函数,但我觉得必须有更好的方法。如果有一个简单的方法,我还想考虑排队dag_tertiary调用。有没有比使用系统调用更好的方法?
谢谢!
答案 0 :(得分:7)
使用TriggerDagRunOperator从另一个DAG调用一个DAG。
详情可在https://airflow.apache.org/code.html?highlight=triggerdagrun#airflow.operators.TriggerDagRunOperator
找到以下帖子给出了使用此运算符的一个很好的示例: https://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand