使用Dataflow时如何指定密钥文件?

时间:2018-10-11 22:33:00

标签: python-2.7 google-cloud-storage google-cloud-dataflow

在我的Dataflow管道中,我有一个创建Cloud Storage客户端的函数。我想指定一个密钥文件,而不是自动使用默认凭据的VM。

我相信做到这一点的方法是

client = storage.Client.from_service_account_json([path to local file]) 

但是,我不确定将json文件放在哪里,以便我的管道功能可以访问它。我应该在哪里上传json文件?

1 个答案:

答案 0 :(得分:1)

在执行管道时,数据流使用controller service accounts创建和管理资源

如果要创建和使用具有细粒度访问和控制权限的资源,则可以将作业项目中的服务帐户用作用户管理的控制器服务帐户。

使用--serviceAccount选项并在运行管道作业时指定服务帐户:

-serviceAccount=my-service-account-name@my-project.iam.gserviceaccount.com