超出预配置吞吐量时应该怎么做?

时间:2017-12-29 12:09:18

标签: node.js amazon-web-services amazon-dynamodb aws-sdk-js

我使用AWS SDK for Javascript(Node.js)从DynamoDB表中读取数据。自动缩放功能在大多数时间内都能很好地工作,并且消耗的读取容量单位(RCU)在一天中的大部分时间都非常低。然而,有一个在午夜左右执行的编程作业,其消耗约为配置的RCU的10倍,并且由于自动缩放需要一些时间来调整容量,因此存在大量的节流读取请求。此外,我怀疑我的请求没有完成(虽然我在错误日志中找不到任何例外)。

为了处理这种情况,我考虑使用AWS API(updateTable)增加配置的RCU,但计算我的应用程序所需的RCU数量可能并不简单。

所以我的第二个猜测是重试失败的请求,只是等待自动扩展配置的RCU。正如AWS文档和一些Stack Overflow答案所指出的那样(特别是关于 ProvisionedThroughputExceededException ):

  

适用于Amazon DynamoDB的AWS开发工具包会自动重试收到此异常的请求。因此,您的请求最终会成功,除非请求太大或您的重试队列太大而无法完成。

我已经阅读了类似的问题(this onethis onethis one),但我仍然感到困惑:如果请求太大或是重试队列太大而无法完成(因此在自动重试之后)或实际在重试之前?

最重要的是:是我在上下文中应该期待的异常吗? (所以我可以抓住它并重试直到自动缩放增加RCU?)

1 个答案:

答案 0 :(得分:5)

每当您的应用程序发送超出容量的请求时,您都会收到Dynamo的ProvisionedThroughputExceededException消息。但是,您的SDK会为您处理此问题并重试。默认的Dynamo重试时间从50ms开始,默认重试次数为10,默认情况下退避是指数式的。

这意味着您将在以下位置重试:

  • 50ms的
  • 100ms的
  • 200ms的
  • 400ms的
  • 800ms的
  • 1.6秒
  • 3.2S
  • 6.4s
  • 12.8S
  • 25.6s

如果在第10次重试之后您的请求仍未成功,则SDK会将ProvisionedThroughputExceededException传递回您的应用程序,您可以按照自己喜欢的方式处理它。

您可以通过增加吞吐量配置来处理它,但另一个选项是在创建Dynamo连接时更改默认重试次数。例如

new AWS.DynamoDB({maxRetries: 13, retryDelayOptions: {base: 200}});

这意味着您将重试13次,初始延迟为200毫秒。这将使您的请求总共需要819.2秒而不是25.6秒。