如何使用特定服务帐户在Dataproc集群上提交作业?

时间:2019-11-12 09:31:45

标签: google-cloud-platform gcloud google-cloud-dataproc service-accounts

我正在尝试在Dataproc集群中执行作业,以访问GCP的多种资源,例如Google Cloud Storage。

我担心的是,通过我的工作创建的任何文件或对象都是由Dataproc默认用户拥有/创建的。

示例-123456789-compute@developer.gserviceaccount.com

有什么方法可以配置此用户/服务帐户,以便由给定的用户/服务帐户而不是默认帐户创建对象?

1 个答案:

答案 0 :(得分:3)

您可以在群集创建时使用标记--service-account将服务帐户配置为由Dataproc群集使用。

Gcloud命令如下:

gcloud dataproc clusters create cluster-name \
  --service-account=your-service-account@project-id.iam.gserviceaccount.com

更多详细信息:https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/service-accounts https://cloud.google.com/dataproc/docs/concepts/iam/iam

注意:每个作业最好有一个dataproc群集,以便每个作业都具有隔离的环境并且不会相互影响,并且可以更好地管理它们(就安全性而言)。

您还可以查看GCP Composer,使用它可以安排作业并使其自动化。

希望这会有所帮助。