每秒吞吐量超过10k事件的客户端(100+)的Kafka流中的聚合

时间:2019-05-12 01:32:20

标签: apache-kafka distributed-computing apache-kafka-streams

我已经阅读了有关Kafka Stream的信息,还创建了小型应用程序,但是我有不同的要求,我必须为不同的客户提供分析,这意味着他们将有不同的主题,并且每秒产生超过1万个事件。

我们必须提供自定义统计信息,例如过去5/10/15分钟内特定事件类型的计数。 (可以是事件中的其他自定义属性)

如果我们有超过100个客户端,我相信1个应用程序实例是不够的,并且如果我们运行多个实例,kafka流将如何保持聚合数据,因为现在数据将位于多个应用程序上。

基本上,如果我们获得更多负载,那么哪一台机器将无法处理kafka流如何执行聚合/计算。

0 个答案:

没有答案