Kinesis - 处理写入ProvisionedThroughputExceededException

Question

我们将AWS Kinesis用作持久队列。 Kinesis每个分片限制最多1000次写入/秒，1M / s。我们80％的用例都低于限制。但是，有一些峰值超过总1M / s。为这些峰值保留更多写入容量并不符合成本效益。

有什么建议吗？

1. 让SDK处理ProvisionedThroughputExceededException重试？
2. 将事件写入临时位置并在达到1M时刷新？
3. ...？

Answer 1

您可以使用kinesis autoscaling的awslabs项目。

这将在高峰时间自动增加分片数量，并在较少活动期间减少分片数量。您可以通过自动扩展策略配置阈值。