我应该使用Trident计算Storm中元组的全局均值吗?

时间:2013-08-08 16:12:33

标签: global mean apache-storm trident

我想用Storm计算由[int id,int value]组成的传入元组的均值。 如您所见,我无法使用字段分组对数据进行分区。我需要一个拓扑结构来分配这个计算,我想到的唯一方法是在每个螺栓实例中进行小批量然后聚合。

我有点明白,三叉戟是在风暴中进行小批量处理的合适解决方案。

当您无法根据属性对数据进行分区时,使用类似手段,全局计数,std-devs计算全局分析的最佳实践是什么?任何拓扑示例?

1 个答案:

答案 0 :(得分:2)

您可以轻松计算流统计信息,例如使用Trident-ML计算的均值,标准差和计数。有a section in the README解释了如何在三叉戟拓扑中计算这些统计数据。

希望它有所帮助。