Question

我有一个案例需要使用亚马逊SES实现邮件平台。我决定使用Node.js来实现所需的并发性。

在节点js应用程序中，我将从redis存储中获取所有联系人。我特别要求的是，我需要限制应用程序以特定速率调用Amazon的api，比如说每秒x封电子邮件，否则我将被亚马逊限制。任何人都可以建议我如何使用Node.js实现此速率限制。我已经尝试过限制器包但无法按照确切的工作方式进行操作。目前还没有足够的文档。任何帮助将不胜感激。

Answer 1

我有一个使用mongodb的类似设置。消息由各种应用程序排队到一个集合中，并由单独的节点应用程序处理。

var mongoose = require('mongoose'),
    _ = require('underscore') ;

var BATCH_SIZE = 50;
var INTERVAL = 60000;

mongoose.connect('mongodb://localhost/outbox');

var Schema = mongoose.Schema,
    ObjectId = Schema.ObjectId;

var MessageSchema = new Schema({
    to: {type:String},
    subject: {type:String},
    body: {type:String},
    queued: {type:Date}

});
var Message = mongoose.model('Message',MessageSchema);

function processQueue(){
    var query = Message.find({}).sort({queued: -1}).limit(BATCH_SIZE);
    query.exec(function(err,messages){
        if (err) return handleError(err);
        if (!messages.length){
            console.log('Queue is empty');
        }else{
            _.each(messages,function(msg){
                 sendTheSESMessage(msg, function(success){
                     if (success){
                         //remove from queue
                         msg.remove();
                     }else{
                         //handle it
                     }
                 })
            });
        }
    });

}

setInterval(processQueue, INTERVAL);

Answer 2

编辑2： Underscore已经实现了类似的内容，请查看throttle function。

编辑：我已经从下面的代码中创建了一个模块，请访问：https://github.com/gammasoft/rate-limited

这是一个可以帮助您的非常简单的实现。

PARAMS：
1. params：包含要通过SES发送的电子邮件地址的数组 2. fn：一次发送一封电子邮件的功能
3. timeout：每次拨打fn之间的最短时间（以毫秒为单位），例如：100封电子邮件/秒，然后通过1000/100（1秒除以100封电子邮件） 4. callback：当一切结束时调用的函数

<强> CODE

// rate-limit.js
var async = require("async");

module.exports = function(params, fn, timeout, callback){
    var length = params.length;
    var wait = function(cb){
        if(--length === 0) return cb();
        else setTimeout(function(){
            cb();
        }, timeout);
    };

    async.eachSeries(params, async.compose(wait, fn), function(err){
        callback(err);
    });
};

module.exports.timesPerSecond = function(times){
    if(times === 0) throw new Error("Should not be zero");
    return 1000/times;
};

module.exports.timesPerMinute = function(times){
    if(times === 0) throw new Error("Should not be zero");
    return (60 * 1000)/times;
};

<强> USAGE

//test.js
var rateLimited = require("./rate-limit.js");
var timesPerMinute = rateLimited.timesPerMinute; 
console.time("time");

rateLimited([1, 2, 3, 4, 5, 6], function(name, cb){
    console.log(name);
    cb();
}, timesPerMinute(5), function(err){
    if(err) throw err;
    console.timeEnd("time");
});

Answer 3

据称，

nodemailer 允许您将速率限制设置为选项参数。

如nodemailer-ses-transport doc中所述：

var transport = nodemailer.createTransport(sesTransport({
    accessKeyId: "AWSACCESSKEY",
    secretAccessKey: "AWS/Secret/key",
    rateLimit: 5 // do not send more than 5 messages in a second
}));

设置好传输对象后，您可以像这样使用它，只需添加邮件选项即可构建您的电子邮件（不必发送HTML，请参阅 nodemailer 文档中的其他选项）：

  var mailOptions = {
    from: 'CompanyName <info@mycompany.com>',
    to: 'email@email.net',
    subject: 'This is a subject',
    html: '<h1>Some html here</h1>',
  };

然后发送：

transporter.sendMail(mailOptions, function(error, info){
    if(error){
        // handle error
    } else {
      // handle success
    } 
});

正如您所看到的，设置非常简单。

使用Amazon SES和Node js的邮件平台

3 个答案: