时间序列窗口用于流应用程序

Question

我们正在使用Kafka，storm和redis开发数据管道应用程序。来自不同系统的实时事件将发布到Kafka，并根据配置的规则进行事件处理。州是用redis管理的。

我们需要在处理不同事件之前实现不同的WAIT_TIME。我们正在考虑以下选项。

我们最初查看了风暴窗口[滑动或翻滚窗口]，但仅提供了配置固定间隔的选项。我们需要根据规则改变wait_time

我们正在探索将事件存储在redis缓存中以保持不同持续时间[TTL]的其他选项，并且一旦每个事件被驱逐，我们需要回调风暴来处理它。

redis是否支持驱逐回调？风暴和雷迪斯有更好的方法吗？

Answer 1

我们通过计算每个流媒体事件的到期时间来解决问题。将事件存储在redis中以防止到期时间[到期为关键]，在最高风暴调度程序上将查询有资格驱逐的事件并进行处理。