Kafka分区会影响性能

Question

为什么大量分区会影响Kafka集群的性能？管理和监视分区的最佳实践是什么？集群中分区计数的最佳实践是什么？

Answer 1

kafka控制器负责跟踪集群状态并将其更新到集群中的所有代理。当分区数增加时，控制器需要做更多的工作。控制器需要向所有其他代理广播kafka主题元数据信息。大量分区意味着控制器需要通过网络发送更多数据。

群集可以承载的分区数取决于群集设置。具有更强大主机的群集将能够托管更多主题分区。您可以监视集群上的分区数，代理之间的分区分布以及系统指标（CPU，I / O，网络等），以查看适合您的设置的分区数。在一个主机上托管超过4000个主题分区后，我们已经看到了问题。通常，将每个主机的分区副本数量保持在1000以下是一个很好的做法。我们还可以检查控制器日志以查看是否有任何主题元数据更新失败。