如何使用apache storm从传感器数据中找到连续的时间序列?

时间:2015-05-26 04:06:38

标签: apache-storm

我们正在使用Apache storm来做一些传感器数据的预处理。数据类似于。

我们的一个要求是检测连续的时间序列。例如,我们有4个数据,T1,T2,T3,T4,其中T4-T3大于1分钟,其余差异小于1分钟,我们认为T1,T2,T3是连续时间系列和T4是另一个时间序列的开始。

我们的拓扑结构如下: spout - >数据编解码器螺栓 - >时间序列检测螺栓。

“数据编解码器螺栓”的逻辑非常复杂,因此我们将执行器编号设置为2.问题是时间序列检测螺栓需要按顺序处理数据,但可以并行'编解码器螺栓'任务保证了这个序列??

或者我们应该以其他方式实现这一点吗?

1 个答案:

答案 0 :(得分:0)

是Storm保证事务拓扑中的序列顺序。 引用链接:https://storm.apache.org/documentation/Transactional-topologies.html

  

事务拓扑背后的核心思想是为数据处理提供强有力的排序。最简单的表现形式,以及我们将要看到的第一个设计,是一次处理一个元组,而不是移动到下一个元组,直到拓扑成功处理了当前元组。