加快从SQS请求消息的过程

时间:2017-09-07 11:14:13

标签: amazon-sqs

我们需要处理存储在SQS中的大量消息(消息来自Amazon商店,SQS是我们可以保存的唯一地方)并将结果保存到我们的数据库中。问题是,SQS一次只能返回10条消息。考虑到我们在SQS中可以拥有多达300000条消息,即使请求和处理10条消息只需要很少的时间,整个过程也会花费很长时间,主要罪魁祸首是实际请求和接收来自SQS的消息。

我们正在寻找一种加快速度的方法。预期的结果是将结果转储到我们的数据库。该过程可能每天运行几次(在该场景中,每次运行的消息数量可能会减少)。

1 个答案:

答案 0 :(得分:0)

像Michael-sqlbot写的那样,并行请求就是解决方案。通过重写我们的代码以使用异步并同时发出10个请求,我们设法将执行时间缩短到合理的程度。

我想这是因为我很少直接在我的工作中使用多线程,我没想过用它来解决这个问题。