卡夫卡我的一些消费者不消费

Question

我有一个带有32个分区的主题，所有这些分区中都有数据。

但是当我开始使用多个使用者时，只有4个使用者可以从主题中获取数据。

主题元数据：

这是监视仪表板：

这是最终的统计数据：

互补消费者配置：

import "gopkg.in/confluentinc/confluent-kafka-go.v1/kafka"

config := kafka.ConfigMap{
        "broker.address.family": "v4", // Avoid connecting to IPv6 brokers
        "bootstrap.servers":     addr,
        "group.id":              groupID,
        "session.timeout.ms":    6000,
        "auto.offset.reset":     "earliest",
    }

Answer 1

确保多个使用者具有唯一的客户端ID。尤其是如果使用者是同一操作系统进程的一部分。

Answer 2

本质上，我们需要确保所有使用者都具有相同的属性group.id

一个唯一字符串，用于标识此消费者所属的消费者组。如果使用者使用subscribe(topic)或基于Kafka的偏移量管理策略来使用组管理功能，则此属性为必需。