触发气流DAG时提交配置:它有什么作用?

时间:2020-06-08 22:30:56

标签: airflow

通过UI(请参见屏幕截图)或API(https://airflow.apache.org/docs/stable/rest-api-ref.html)触发Airflow DAG时,您可以选择提交JSON配置。但是据我所知,此方法的有用性尚未明确记录。我有两个基本问题:

  • 这是用于应用程序级别的自由格式配置设置,还是仅用于Airflow配置变量?
  • 如果这是自由格式的配置设置,那么如何(在我的代码中)如何访问触发DAG时传递的任何配置?

以下是屏幕快照,您可以在其中触发DAG时提供配置:

enter image description here

1 个答案:

答案 0 :(得分:1)

是的,它用于应用程序级配置。

示例-

{"appConfig":"Test"}

要在DAG中阅读

def read_app_configuration(**kwargs):
    print("Read App Config - Task : Start")
    dag_run = kwargs['dag_run']
    region = kwargs['dag_run'].conf.get('appConfig')