如何从本地计算机上运行的pyspark将凭据传递给bigquery

Question

我有一个本地运行的pyspark集群，并希望从大查询中加载数据。 我已经生成了服务器到服务器的json凭证文件 现在我如何将其传递给我的代码。 TIA

Answer 1

当我编写代码以通过工具与Google的API交谈时，我会在我想要使用的项目中生成服务帐户凭据，下载它们，然后使用这些凭据初始化客户端。

从python中，我将使用credentials创建凭据，然后使用key_bytes = ... # read your downloaded key from somewhere bigquery_service = discovery.build( 'bigquery', 'v2', credentials=oauth2client.client.SignedJwtAssertionCredentials( '1234567890@developer.gserviceaccount.com', key_bytes, ['https://www.googleapis.com/auth/bigquery'], private_key_password='notasecret', user_agent=_CLIENT_USER_AGENT)) 关键字参数将这些凭据传递给apiclient构造函数。类似的东西：

BPoly.from_derivatives

然后，无论何时使用bigquery-service，您的凭据都将被传递。