如何在DEV和PROD环境之间迁移气流变量?

时间:2018-02-06 06:29:55

标签: airflow airflow-scheduler

我们正在使用气流来安排我们的数据管道,作为其中的一部分,我们还在气流管理中添加了一些连接和变量。

在DEV中一切正常,现在我们想要设置PROD环境。我们如何将这些值迁移到PROD环境中。

2 个答案:

答案 0 :(得分:1)

您可以通过命令行列出或导出变量和连接:https://airflow.apache.org/cli.html

相关命令:

  • 气流变量-e variables.json
  • 气流连接 - 列表

答案 1 :(得分:0)

变量,我通常在代码库中有JSON文件来存储不同环境的非敏感变量,然后可以通过命令行轻松导入,并通过git跟踪更改。

对于连接,可能的另一个选项是使用环境变量而不是在UI中设置,您可以使用AIRFLOW_CONN_{CONNECTION_NAME}设置连接属性,例如AIRFLOW_CONN_AWS_DEFAULT用于连接aws_default < / p>

变量中存储的值必须采用URI格式,即postgres://user:password@localhost:5432/masters3://accesskey:secretkey@S3