我正在尝试在Dataproc集群中执行作业,以访问GCP的多种资源,例如Google Cloud Storage。
我担心的是,通过我的工作创建的任何文件或对象都是由Dataproc默认用户拥有/创建的。
示例-123456789-compute@developer.gserviceaccount.com
。
有什么方法可以配置此用户/服务帐户,以便由给定的用户/服务帐户而不是默认帐户创建对象?
答案 0 :(得分:3)
您可以在群集创建时使用标记--service-account
将服务帐户配置为由Dataproc群集使用。
Gcloud命令如下:
gcloud dataproc clusters create cluster-name \
--service-account=your-service-account@project-id.iam.gserviceaccount.com
更多详细信息:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/service-accounts https://cloud.google.com/dataproc/docs/concepts/iam/iam
注意:每个作业最好有一个dataproc群集,以便每个作业都具有隔离的环境并且不会相互影响,并且可以更好地管理它们(就安全性而言)。
您还可以查看GCP Composer,使用它可以安排作业并使其自动化。
希望这会有所帮助。