Kafka - 主题、消费者组和消费者副本

时间:2021-03-17 22:04:54

标签: java spring-boot apache-kafka spring-kafka confluent-platform

我是 Kafka 的新手,想知道配置主题、分区、消费者组和消费者应用副本的最佳方法。

在现有设置上工作,配置如下:

  1. 10 个主题
  2. 每个主题都有自己的组,即 topic1-group1topic2-group2 等。
  3. 每个主题有 5 个分区
  4. Java 消费者应用程序有 5 个(我被告知有意与分区数相同)副本(k8s pod),它们使用 Spring Kafka 的 @KafkaListener

问题 1。我想知道这种配置是否能提供最佳性能(高吞吐量和低延迟)?

消费者应用程序仅将消息发送到一个下游系统,这让我认为所有主题(及其所有分区 + 消费者应用程序副本)都可以共享一个消费者组(我们称之为 main-group) em>).

Q2.与为每个主题设置专门小组相比,这会提供更好还是更差的性能?


子问题:

Q3. ONE @KafkaListener 可以处理 10 个主题,每个主题都有专门的消费者组,因为它只有 1 个 containerGroup 和 1 个 containerFactory 参数吗?

谢谢

0 个答案:

没有答案