设置气流环境变量并访问连接

时间:2018-11-23 07:22:03

标签: google-cloud-platform airflow google-cloud-composer

我们正在尝试通过在Cloud Composer中设置环境来创建气流连接:

export AIRFLOW_CONN_GCP_CONN_ID=google_cloud_platform://?extra__google_cloud_platform__project=<project_id>&extra__google_cloud_platform__scope=https://www.googleapis.com/auth/cloud-platform&extra__google_cloud_platform__key_path=<path_to_json_file>

在日志中,我们收到警告,提示未设置凭据。

  

信息-由于没有为钩子定义密钥文件,因此使用google.auth.default()获得连接。

当我们仔细研究代码内部时,发现如果未设置key_pathkeyfile_data,则会收到此错误。但是我们正在按命令中所述设置key_path

对于内部代码,我们在GitHub上研究了gcp_api_base_hook.py

1 个答案:

答案 0 :(得分:0)

我假设您正在使用Cloud Composer。
您可以将服务帐户凭据文件保存到气流环境中。
转到管理员-连接 select google_cloud_default,然后输入您的服务帐户详细信息以及您需要访问的必需的范围