从Kinesis流中发射部分翻滚窗口

时间:2019-02-13 03:55:06

标签: amazon-kinesis

在我的应用程序中,我想收集数据并将其存储到几个存储桶中(例如1m,10m,1hr和4h)。在Kinesis Data Analytics上,滚动窗口似乎是一个很好的选择。但是,我希望每个存储桶的最新窗口都发出部分数据-也就是说,在02:12:30,1m存储桶应包含最后30s数据,10m存储桶应包含最后2m数据,并且以此类推。如有必要,可以按一定间隔发射部分数据。

这似乎比滑动窗口的行为更符合滚动窗口的行为,但据我所知,滑动窗口不能被赋予逐步的开始时间,只能是固定的间隔,并且我不希望部分数据重叠与之前的存储桶。

AWS的Streaming SQL是否可以使用这种模式,或者我需要实现自定义lambda来进行聚合?

0 个答案:

没有答案