Kafka regex主题/聆听多个主题的实际限制是什么

时间:2019-11-15 11:58:05

标签: apache-kafka publish-subscribe telemetry kafka-topic

我正在探索不同的PubSub平台,我想知道在Kafka中收听多个主题有什么限制。例如考虑这个用例。我们有火车,车站入口大门,所有发布其遥测功能的设备。目前,这是在MQ上完成的,但是随着数据速率的提高,智能火车等的发展,我们需要转移到新的PubSub /流媒体平台,而Kafka确实在该列表中。

正如我所看到的,有两种策略可以将遥测聚合为流:

  1. 根据消费进行汇总,其中每个培训/设备最初都会获得自己的主题,并且使用正则表达式-主题/虚拟主题完成主题汇总
  2. 汇总生产,其中所有火车都针对一个主题进行生产,如果需要,消费者可以使用过滤器来挑选单个生产商

据我了解,Kafka并不是特别适合大量主题(> 10,000),但是可以做到。正则表达式主题能够汇总2000、3000个主题吗?

1 个答案:

答案 0 :(得分:1)

从技术角度来说,是可以做到的;但在实践中,这并不常见。为什么?动物园管理员。建议集群最多具有每个代理 4000 个分区。这部分是由于在 Zookeeper 上为所有这些人执行领导选举的开销。

我建议您在 Confluent 的博客上阅读这些关于这个有趣话题的博文: