使用Hive在gcp中跨项目访问存储桶

时间:2018-11-23 09:03:23

标签: hadoop hive google-cloud-platform google-cloud-storage

我的gcp帐户上有两个项目,并且两个都有存储桶。 在一个项目中,我有一个正在运行配置单元的dataproc集群。 从这个配置单元中,我想访问另一个项目的存储桶。 我曾尝试将ACL权限授予存储桶,但从配置单元执行create table命令时仍然出现错误,提示:

失败:执行错误,从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1。 MetaException(message:Got异常:java.io.IOException访问错误:存储桶:存储桶名称,对象:文件夹/文件名

如何使用配置单元访问我的存储桶?

1 个答案:

答案 0 :(得分:2)

根据建议,我使用了预安装在dataproc集群中的google cloud连接器。

https://cloud.google.com/dataproc/docs/concepts/connectors/install-storage-connector

步骤很精确,但是除此之外,我还必须在存储桶中向服务帐户添加apt角色。

https://cloud.google.com/storage/docs/access-control/iam-roles

然后它起作用了。

相关问题