gsutil从s3匿名复制？

Question

目标是让gsutil匿名从s3：//复制到gs：//。

Boto支持s3匿名连接，但我不确定如何让gsutil使用匿名连接方法。

我已将此添加到~/.boto但没有运气。它仍然期望为AWS定义[Credentials]：

[s3]
anon = True

有经验/建议吗？

Answer 1

这是一个gsutil错误 - 只有在没有凭据（对于gs或s3）可用时才使用匿名身份验证。

如果您是从s3：//匿名阅读并在gs：//中匿名写入（可公开写入的存储桶），则只需运行没有〜/ .boto文件即可运行。

如果您需要将匿名和有凭证的请求合并，例如在写入非公开GCS存储桶时匿名读取s3，则需要等待this Github issue的修复。

Answer 2

顺便说一句，如果您希望将大量数据从S3复制到GS，您可能需要尝试GCS Transfer Service（尽管我认为它不支持匿名S3访问）。这样您就可以在不通过机器发送位的情况下进行复制。