如何在DEV和PROD环境之间迁移气流变量？

Question

我们正在使用气流来安排我们的数据管道，作为其中的一部分，我们还在气流管理中添加了一些连接和变量。

在DEV中一切正常，现在我们想要设置PROD环境。我们如何将这些值迁移到PROD环境中。

Answer 1

您可以通过命令行列出或导出变量和连接：https://airflow.apache.org/cli.html

相关命令：

• 气流变量-e variables.json
• 气流连接 - 列表

Answer 2

变量，我通常在代码库中有JSON文件来存储不同环境的非敏感变量，然后可以通过命令行轻松导入，并通过git跟踪更改。

对于连接，可能的另一个选项是使用环境变量而不是在UI中设置，您可以使用AIRFLOW_CONN_{CONNECTION_NAME}设置连接属性，例如AIRFLOW_CONN_AWS_DEFAULT用于连接aws_default < / p>

变量中存储的值必须采用URI格式，即postgres://user:password@localhost:5432/master或s3://accesskey:secretkey@S3