增加Kafka导致zookeeper失败的主题数量

时间:2016-05-16 04:07:16

标签: apache-kafka apache-zookeeper iot

我们计划将kafka用作物联网用例的消息代理,其中每个设备都被视为唯一主题。当我每秒模拟10条消息到10万个主题时,动物园管理员正在获得瓶颈,所有Kafka监控工具都无法从JMX端口读取吞吐量值和主题数量。将调整zookeeper将解决问题。在IoT用例中,将有数百万个设备轮询数据到数百万个主题。我想确保这种方法是完美的。请建议。

2 个答案:

答案 0 :(得分:0)

现在有另一个解决方案可用-试用Apache Pulsar。 它在主题数量上看起来很有希望,并且通常与Kafka非常相似,并且现在与Kafka兼容。 https://pulsar.apache.org/

答案 1 :(得分:-1)

你说得对,即使理论上你可以在Kakfa有数百万个主题,Kafka的主题数量是bound by Zookeeper,你不能拥有数百万个主题。为每个设备创建主题/分区不是可扩展的解决方案

您是否有理由需要数百万个主题?