我在准备Kafka服务时遇到了一些问题。
第一个问题。 分区繁忙服务的建议标准是什么? 我理解根据生产者和消费者的内存来决定分区数是个好主意。 是否有任何标准来确定分区数量? 您对此体验的描述也会有很大帮助。
第二个问题。 有时,在Kafka服务期间,只有一个经纪人正忙着。 我该如何解决? 有什么办法可以阻止吗?
问题三: 我有什么方法可以了解服务器脏关机吗?
答案 0 :(得分:0)
通常,Kafka群集中的分区越多,吞吐量就越高。但是,请注意,在可用性和延迟等方面总共有太多分区会产生(负面)影响。来自汇编的This article可以解释您的第一个问题。
回到第二个问题,一个主题由至少一个分区组成。 Kafka代理包含各种主题的多个分区。其中一些分区是领导者,其中一些是来自其他代理的分区的副本。因此,代理可能具有一些活动分区(领导者)和一些非活动分区(副本)。我想在你的情况下,只有一个代理包含领导分区,所以你需要检查你的复制和分区策略。
关于上一个问题,您需要考虑一个Kafka群集监控工具,例如Confluent's Control Centre或Landoop's Kafka LENSES。