对网站端点的s3速率限制

Question

我通过其网站端点使用各种路径/密钥访问我的s3存储桶。当我在5分钟内以每秒1,000个请求命中它时，我能够得到好的（200）响应。我正在使用一种流行的工具：https://github.com/tsenart/vegeta所以我对这些统计数据充满信心。

考虑到documentation说任何高于每秒800的问题都是有问题的，这是令人惊讶的。

在限制方面，使用的网站端点与API调用不同吗？ 800是实际利率限制还是原油价格？

Answer 1

这是一个软限制，而不是桶级别的限制。仔细读。文档警告快速请求率增加超过每秒800个请求可能导致临时速率限制请求率。

S3通过密钥空间分区拆分增加了可用容量，这需要一些时间才能实现......但是桶会随着工作负载而扩展。

如果您反复请求相同的对象，那么您也不太可能对可用资源施加如此大的负担，如果您每秒击中800个唯一对象并在线之间读取，那么是正在讨论的门槛 - 在桶索引中查找密钥的时间。最近的点击可能已经比索引中的冷点更容易获得。

文档突出显示的问题是对象键是词法顺序的，然后S3将无法有意义地拆分分区，因为您将始终只在分割的一侧创建新对象，从而工作反对S3的缩放算法。

Answer 2

同时更新了文档，并增加了限制。现在限制是每个存储桶前缀，并且1000 req / s不再是问题。有关更多信息，请参见提到的doc。