我们正在尝试通过在Cloud Composer中设置环境来创建气流连接:
export AIRFLOW_CONN_GCP_CONN_ID=google_cloud_platform://?extra__google_cloud_platform__project=<project_id>&extra__google_cloud_platform__scope=https://www.googleapis.com/auth/cloud-platform&extra__google_cloud_platform__key_path=<path_to_json_file>
在日志中,我们收到警告,提示未设置凭据。
信息-由于没有为钩子定义密钥文件,因此使用
google.auth.default()
获得连接。
当我们仔细研究代码内部时,发现如果未设置key_path
和keyfile_data
,则会收到此错误。但是我们正在按命令中所述设置key_path
。
对于内部代码,我们在GitHub上研究了gcp_api_base_hook.py
。
答案 0 :(得分:0)
我假设您正在使用Cloud Composer。
您可以将服务帐户凭据文件保存到气流环境中。
转到管理员-连接 select google_cloud_default
,然后输入您的服务帐户详细信息以及您需要访问的必需的范围。