如何使Google客户端库使用气流连接而不是环境变量?

时间:2019-10-09 14:34:04

标签: python google-bigquery airflow

我正在Apache Airflow中建立涉及连接到AWS和GCP服务的数据管道。在GCP中,为了使用Google客户端库处理Google服务,必须设置一个链接到服务键路径Link的env变量(GOOGLE_APPLICATION_CREDENTIALS =“ [PATH]”)。

但是,在Apache Airflow中,为了提高安全性,您可以建立一个包含哈希形式的服务密钥凭据的连接(因此此处不涉及任何路径)。此连接可能有气流钩。但是,我想知道是否有人设法让客户端库直接与Apache Airflow连接中的哈希键一起工作,而不是必须在shell或脚本中创建env变量。

到目前为止,唯一可行的方法是将服务密钥放入虚拟机中并将其加载到脚本中:environ [“ GOOGLE_APPLICATION_CREDENTIALS”] =“ / path / to / file.json” 或通过在外壳中通过导出进行设置。

0 个答案:

没有答案