我正在尝试下载，转换并将整个S3存储桶上传到Azure Blob存储。任务本身虽然微不足道，但由于节流问题而变得非常烦人。 这个桶本身是4.5TB，包含大约700,000,000个密钥 - 我的第一个方法是创建一个Lambda来同时处理一批2000个密钥，然后攻击S3。在推出所有lambdas后，我第一次遇到S3限制 -
{ “errorMessage”：“请降低您的请求率。”， “errorType”：“SlowDown”}
起初这很有趣，但最终它成为了整个迁移过程的阻碍者。使用此限制策略转移整个存储桶大约需要2周时间。 当然，我实现了一个指数重试，但在这个100+ lambdas的同时，它几乎没有影响。 我错过了什么吗？有没有我可以使用的服务？我可以克服节流吗？ 任何帮助，将不胜感激。