如何在 dev/qa/prod 等气流中设置和 ENV 变量？

Question

我想在气流中设置一个环境变量，我以后可以在我的管道中使用它。我需要它来识别元数据。

如果 $ENV == 'dev' 使用 s3-dev-bucket 如果 $ENV == 'prod' 使用 s3-prod-bucket，它将由 s3-$ENV-bucket 标识。

我曾尝试将它放在来自气流 UI 的变量中，但一段时间后该变量的值变为无效。如果有人能为此提供一种可靠的方法，那就太好了。

Answer 1

这里有多种选择：

1. 正如 Simon D 所建议的那样，最好的解决方案是建立连接的那部分。然后，对于每个气流环境，您将拥有相同的连接 ID，但具有不同的凭据和端点。
2. 您可以使用 Airflow 变量。但是，您提到它们无效。我不知道为什么变量值会变成无效的任何错误。也许看看那个很好。
3. 您可以使用环境变量。不确定您如何运行气流，但这也是一种选择。