我正在探索不同的PubSub平台,我想知道在Kafka中收听多个主题有什么限制。例如考虑这个用例。我们有火车,车站入口大门,所有发布其遥测功能的设备。目前,这是在MQ上完成的,但是随着数据速率的提高,智能火车等的发展,我们需要转移到新的PubSub /流媒体平台,而Kafka确实在该列表中。
正如我所看到的,有两种策略可以将遥测聚合为流:
据我了解,Kafka并不是特别适合大量主题(> 10,000),但是可以做到。正则表达式主题能够汇总2000、3000个主题吗?
答案 0 :(得分:1)
从技术角度来说,是可以做到的;但在实践中,这并不常见。为什么?动物园管理员。建议集群最多具有每个代理 4000 个分区。这部分是由于在 Zookeeper 上为所有这些人执行领导选举的开销。
我建议您在 Confluent 的博客上阅读这些关于这个有趣话题的博文: