将hadoop群集连接到多个Google项目中的多个Google云端存储备份

Question

可以立即将我的Hadoop群集连接到多个Google Cloud项目吗？

我可以通过Google云端存储连接器轻松地在单个Google Project中使用任何Google存储空间存储桶，如本主题Migrating 50TB data from local Hadoop cluster to Google Cloud Storage中所述。但我找不到任何文档或示例如何从单个map-reduce作业连接到两个或更多Google Cloud Project。你有什么建议/技巧吗？

非常感谢。

Answer 1

实际上，可以将群集连接到多个不同项目的存储桶。最终，如果您使用using a service-account keyfile的说明，则会代表该服务帐户执行GCS请求，该服务帐户可以像其他任何用户一样被视为或多或少。您可以使用cloud.google.com/console的your-service-account-email@developer.gserviceaccount.com部分将服务帐户电子邮件permissions添加到拥有您要处理的存储桶的所有不同云项目中，只需添加该电子邮件地址即可其他成员，或者您可以设置GCS-level access以像任何其他用户一样添加该服务帐户。