Kafka经纪人可以支持的Kafka分区限制是多少?如果没有限制,那么每个代理有多少个分区可以使我的集群正常快速运行?
答案 0 :(得分:2)
从最近的博客200K+ partitions per cluster开始,但这当然很大程度上取决于您运行的实际硬件以及到目前为止您对Kafka的维护程度。例如,我怀疑Raspberry Pi是否能够处理那么多的负载。
每个代理并没有严格的限制,但过去的经验法则是每个代理平均少于1000个分区将使集群保持最佳运行状态
那个博客说4000现在是个好数字
根据经验,我们建议每个代理最多具有4,000个分区,每个集群最多具有200,000个分区
答案 1 :(得分:1)
记录到apache blog时,Kafka代理最多可支持4,000个分区,每个群集最多可支持200,000个分区的限制。