在Airflow 1.9.0中填写`ExternalTask​​Sensor`的`dag_id`的最佳做法是什么?

时间:2018-01-12 03:55:25

标签: python airflow apache-airflow cyclic-dependency

如何填充ExternalTaskSensor参数external_dag_id

  1. 硬编码。这很简单,但很难保留DAG,如果外部DAG的dag_id发生了变化,你必须记住改变external_dag_id。甚至一些不知道的拼写错误。
  2. 或导入该dag并使用external_dag.dag_id。这解决了上面的问题。但它可能会发出循环依赖和一些全局变量问题。这些问题比硬编码解决方案更难以理解。
  3. 有人在生产中有一些最佳实践吗?欢迎任何建议。

1 个答案:

答案 0 :(得分:1)

我建议使用第二种解决方案。

如果有全局变量,则应将其移至Airflow Variables。要解决循环依赖问题,需要重建DAG。这取决于管道。