我有一个带有32个分区的主题,所有这些分区中都有数据。
但是当我开始使用多个使用者时,只有4个使用者可以从主题中获取数据。
主题元数据:
这是监视仪表板:
这是最终的统计数据:
互补消费者配置:
import "gopkg.in/confluentinc/confluent-kafka-go.v1/kafka"
config := kafka.ConfigMap{
"broker.address.family": "v4", // Avoid connecting to IPv6 brokers
"bootstrap.servers": addr,
"group.id": groupID,
"session.timeout.ms": 6000,
"auto.offset.reset": "earliest",
}
答案 0 :(得分:1)
确保多个使用者具有唯一的客户端ID。尤其是如果使用者是同一操作系统进程的一部分。
答案 1 :(得分:1)
本质上,我们需要确保所有使用者都具有相同的属性group.id
一个唯一字符串,用于标识此消费者所属的消费者组。如果使用者使用subscribe(topic)
或基于Kafka的偏移量管理策略来使用组管理功能,则此属性为必需。