为什么AWS SQS如此之慢?

时间:2017-10-19 23:23:30

标签: javascript node.js amazon-web-services amazon-sqs

我一直在测试发送消息并从SQS队列接收消息所需的时间。它平均需要800-1200毫秒,这似乎是一个非常漫长的时间。这是我的测试代码,如果我做错了,请告诉我。

var t0;
sendMessage('hello');

function sendMessage(message){

    var params = {
        MessageBody: message,
        QueueUrl: queueUrl
    };
    t0 = now();
    sqs.sendMessage(params, function(err,data){
        if(err){
            throw err;
        } else {
            console.log("Message Send Confirmation");
        }
    });
    unbatch();
}

async function unbatch(){

    var params = {
        QueueUrl: queueUrl,
        MaxNumberOfMessages: 10
    };
    var go = true;
    while(go){
        console.log("Polling...");
        sqs.receiveMessage(params, function(err, data){
            if(data.Messages){
                console.log("Message Received");
                console.log("Total Time: " + ((now() - t0)/1000));
                go = false;
                var deleteParams = {
                    QueueUrl: queueUrl,
                    ReceiptHandle: data.Messages[0].ReceiptHandle
                };
                sqs.deleteMessage(deleteParams, function(err, data) {
                    if (err) {
                        console.log("Delete Error", err);
                    } else {
                        console.log("Message Deleted");
                    }
                });
            }
        });
        await sleep(1);
    }
}

function sleep(ms){
    return new Promise(resolve => setTimeout(resolve, ms));
}

它发送消息并立即开始尝试每毫秒接收一条消息。收到后,它会计算时间。难道这不会花费更少的时间吗?

1 个答案:

答案 0 :(得分:3)

您使用任何队列的原因不是为了提高性能,而是为了恢复能力。

队列解决了许多问题,它们在断开连接的系统之间提供异步通信,它们允许您非常好地扩展系统,并提供增强的弹性,确保消息不会丢失"如果系统出现故障。

在使用队列时,您应该考虑围绕eventual consistency的概念设计您的系统,这意味着您的信息最终将会到达并处理,但可能不会在您预期的时间或甚至按照您预期的顺序进行。

速度,排序,重试等功能在队列实现(SQS,Kafka,RabbitMq等)之间会有所不同。

如果您正在寻找超高IOPS,那么排队可能不是您想要的。