Question

我一直在编写一些群发邮件脚本。就是这样的
1.从数据库中提取必须接收电子邮件的用户。目前，此数量约为11000。
2.将他们的电子邮件地址放入Amazon队列服务。
3.按间隔触发另一个从队列服务中提取的Lambda代码。
4.找到每个用户的相关产品，并构建用于邮件发送的html模板（Amazon s3）。
5.使用Amazon SES发送它们。

由于Amazon SES每秒最多只允许14条电子邮件，因此我必须在提取时配置消耗计数。但这会以某种方式消耗过多，并且SES给我错误。

当前代码段：

module.exports.mail_puller = (event, context, callback) => {
  init_aws();
  const Consumer = require('sqs-consumer');
  const app = Consumer.create({
    queueUrl: process.env.QUEUE_URL,
    handleMessage: (msg, done) => {
      build_email(JSON.parse(msg.Body));
      done();
    },
    waitTimeSeconds: 20,
    size: 1,
    visibilityTimeout: 1,
    sqs: sqs
  });

  app.on('error', (err) => {
    if (err) console.log(err);
  });
  app.on('empty', (err) => {
    if (err) console.log(err);
    if (connection && connection.state !== 'disconnected') connection.end();
    app.stop();
    callback(null, response);
  });
  app.start();
};

function build_email(obj) {
  init_cheerio();
  const $t = cheerio.load(obj.tpl);

  find_chosen(obj.id).then(products => {
    for (let product of products) {
      $t('.products-container').prepend(build_product(obj.product_tpl, product));
    }
    send_email(obj.email, obj.subject, $t.html().toString(), obj.id);
  });
}

错误消息：

2018-11-21T01:51:11.039Z    daf6727a-ed2f-11e8-9330-c581beef6958    { Throttling: Maximum sending rate exceeded.
at Request.extractError (/var/task/node_modules/aws-sdk/lib/protocol/query.js:47:29)
at Request.callListeners (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:105:20)
at Request.emit (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
at Request.emit (/var/task/node_modules/aws-sdk/lib/request.js:683:14)
at Request.transition (/var/task/node_modules/aws-sdk/lib/request.js:22:10)
at AcceptorStateMachine.runTo (/var/task/node_modules/aws-sdk/lib/state_machine.js:14:12)
at /var/task/node_modules/aws-sdk/lib/state_machine.js:26:10
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:38:9)
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:685:12)
at Request.callListeners (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:115:18)
at Request.emit (/var/task/node_modules/aws-sdk/lib/sequential_executor.js:77:10)
at Request.emit (/var/task/node_modules/aws-sdk/lib/request.js:683:14)
at Request.transition (/var/task/node_modules/aws-sdk/lib/request.js:22:10)
at AcceptorStateMachine.runTo (/var/task/node_modules/aws-sdk/lib/state_machine.js:14:12)
at /var/task/node_modules/aws-sdk/lib/state_machine.js:26:10
at Request.<anonymous> (/var/task/node_modules/aws-sdk/lib/request.js:38:9)
message: 'Maximum sending rate exceeded.',
code: 'Throttling',
time: 2018-11-21T01:51:11.039Z,
requestId: 'ebcebbd1-ed2f-11e8-b6d5-130ef17efa56',
statusCode: 400,
retryable: true }

Answer 1

限制是正常事件，您应通过在延迟一段时间后重新引发限制的请求来处理此异常-AWS提供了一个retry policy框架来进行此操作（该链接适用于Java SDK ，但所有SDK都有类似的概念）。 here提供了更多有关重试的信息。

您也可以通过对自己进行一些速率限制来缓解这种情况-基本上会在您的send_email通话中添加一些人为延迟，以减少SES限制。

使用重试策略和客户端速率限制的不同配置进行实验，以确定哪些数字可以为您的用例带来最佳效果。

如何配置Amazon队列服务消耗计数

1 个答案: