Map减少AWS Lambda& SQS

时间:2016-01-06 22:22:10

标签: amazon-web-services mapreduce amazon-sqs aws-lambda

我有一个Lambda函数,它生成了许多worker Lambda函数,如果有任何错误,每个worker函数都会发布到SQS队列。

有一个UI会长时间轮询SQS队列以查找任何错误。我的问题是我怎么知道处理完成的时间?

由于第一个Lambda函数(生成工作者Lambda函数)以异步方式运行,也就是说,它会跨工作Lambda函数拆分数据,然后返回/结束。我需要有能力弄清楚处理完成的时间。

我之所以只将错误发布到SQS队列并且没有成功,是因为如果我要处理10,000个对象并且有9,000个成功,我将需要做很多ReceiveMessages( UI /客户端的SQS API调用(从SQS队列中检索项目)(如果我指定每次调用接收的最大消息数为10,则可能大约有900个调用。每个队列不能从队列中检索10个以上的消息)调用。)

如何克服此设计问题?

我正在使用API​​网关,AWS Lambda和Dynamo DB(随时可以建议任何其他可以更轻松完成工作的Amazon / AWS服务。)

0 个答案:

没有答案