卡夫卡经纪人支持多少个分区

时间:2018-11-13 15:29:01

标签: apache-kafka

Kafka经纪人可以支持的Kafka分区限制是多少?如果没有限制,那么每个代理有多少个分区可以使我的集群正常快速运行?

2 个答案:

答案 0 :(得分:2)

从最近的博客200K+ partitions per cluster开始,但这当然很大程度上取决于您运行的实际硬件以及到目前为止您对Kafka的维护程度。例如,我怀疑Raspberry Pi是否能够处理那么多的负载。

每个代理并没有严格的限制,但过去的经验法则是每个代理平均少于1000个分区将使集群保持最佳运行状态

那个博客说4000现在是个好数字

  

根据经验,我们建议每个代理最多具有4,000个分区,每个集群最多具有200,000个分区

答案 1 :(得分:1)

记录到apache blog时,Kafka代理最多可支持4,000个分区,每个群集最多可支持200,000个分区的限制。