kafka使用者群组编号无法正常运作

时间:2019-04-28 01:05:02

标签: apache-kafka kafka-consumer-api

我是Apache Kafka上的新朋友。当我通过http://kafka.apache.org/quickstart使用最新版本kafka_2.12-2.2.0进行快速入门说明时。我遇到了一个问题,无法自己解决。

问题是,在我的笔记本电脑上,我创建了3个代理来模拟集群情况。

每个代理都有其自己的服务器属性文件。我对每个服务器属性文件进行了以下更改,并保留其他默认值。

broker.id=1      (server2: broker.id=2;  server3: broker.id=3)

listeners=PLAINTEXT://127.0.0.1:9092   (server2: 127.0.0.1:9023;  server3: 127.0.0.1:9004) 

log.dirs=/tmp/kafka-logs   (server2: /tmp/kafka-logs-2; server3: /tmp/kafka-logs-3)

num.partitions=3   (for all servers)

offsets.topic.replication.factor=3  (for all servers)

启动ZK和这3个代理后,我(可以)在任何代理上创建带有3个分区的主题“ TestTopic”

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic TestTopic

然后我使用下面的命令启动同一“ rickygroup”组中的3个使用者。

//消费者一

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup

//消费者二

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9093 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup

//消费者三

bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9094 --from-beginning --topic TestTopic —group.id rickygroup —group.name rickygroup

现在,我使用另一个终端在主题“ TestTopic”上发布一些消息。问题是,以上3个使用者中的所有使用者都将收到所有完全相同的消息。我的理解是3个消费者应该消耗所有消息的冷漠而不是相同。否则,消费者组将显示重复消费而不是余额消费。

我对消费者群体概念有误解吗?还是我在这里做错了什么?

1 个答案:

答案 0 :(得分:0)

控制台使用者使用--group(带有两个破折号),而不是-group.id和/或-group.name,它们不是已解析的选项。