5个代理中kafka主题的最佳分区数,在1个集群中复制因子= 3

时间:2017-03-15 23:05:54

标签: apache-kafka

什么是最优的没有。具有5个代理和复制因子= 3的主题的分区? 此群集中只有6个主题。

每个代理运行的计算机配置如下。

Memory=16gb
Porcessor= Octacore, Intel(R) Xeon(R) CPU E5-2650 v3 @ 2.30GHz

除了每个主题1000个分区的打开文件以外的任何挑战吗?

1 个答案:

答案 0 :(得分:5)

从Kafka 1.1.0开始,建议每个代理最多具有4000个分区,每个集群最多具有200000个分区。 了解更多here

注意,即使您可以创建大量分区,也并不意味着您的硬件就能支持它。确保根据负载扩展群集硬件(CPU,RAM,HDD等)。