气流编排最佳实践

Question

我开始使用Airflow来安排公司的工作，我想知道它的最佳做法。

是否建议将我的所有任务放在一个DAG中？如果不是，那么一个Dag和多个Dag之间的中间位置是什么？

我们计划的DAG执行收集，转换，导出和其他一些计算程序。因此，我们将不断添加新任务。

Answer 1

通常，一个python文件由一个具有多个任务的DAG组成。这是因为这是任务的逻辑分组。

如果您有多个具有依赖性的DAG，则可以在DAG1的末尾使用TriggerDagRunOperator。如果DAG1中的所有任务都成功，则将触发DAG2（单独的DAG文件）。

一个例子是：

DAG1 ：https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_controller_dag.py

DAG2 ：https://github.com/apache/incubator-airflow/blob/master/airflow/example_dags/example_trigger_target_dag.py