Lambda函数延迟了Kinesis流处理

时间:2015-09-17 12:48:05

标签: lambda queue amazon-kinesis

我只是想知道Kinesis流是否可以延迟流处理?使用Lambda函数可以延迟处理吗?

我希望在关闭会话和处理数据之前将用户的多次交互分组超过5分钟。因此,我会将会话的所有数据写入一个Kinesis流分区。

对我来说,现在有点不清楚Lambda函数被调用来消耗Kinesis流以及我如何调整流消耗?

我可以按时间/数据块限制调整流消耗吗?

可以延迟运动分区的消耗吗?例如。在处理分区之前至少等待5分钟。

2 个答案:

答案 0 :(得分:1)

这似乎是Kinesis Analytics的理想情况。从他们的文件:

  

Amazon Kinesis Analytics使您可以快速编写SQL代码   以近乎实时的方式连续读取,处理和存储数据。   在流数据上使用标准SQL查询,您可以构造   可以转换并深入了解数据的应用程序。

您可以设置一个应用程序来读取您的初始Kinesis流,使用5分钟窗口根据需要聚合数据,然后将其提供给另一个Kinesis流进行进一步处理。

答案 1 :(得分:0)

另一种选择是使用Drools Kinesis Analytics。查看this question并查看Drools答案。