卡夫卡10.2新消费者与老消费者

Question

我花了几个小时来弄清楚发生了什么，但没有找到解决方案。

这是我在一台机器上的设置：

• 1个动物园管理员正在运行
• 运行3个代理（在端口9092/9093/9094上）
• 1个主题，包含3个分区和3个重复（每个分区在代理之间正确分配）

我正在使用kafka控制台生成器来插入消息。如果我检查复制偏移量（cat replication-offset-checkpoint），我看到我的消息被Kafka正确摄取了。

现在我使用kafka控制台消费者（新）：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic testTopicPartitionned2

我没有看到任何消耗。我试图删除我的日志文件夹（/ tmp / kafka-logs- [1,2,3]），创建新主题，但仍然没有。

然而，当我使用旧的kafka消费者时：

sudo bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testTopicPartitionned2

我可以看到我的消息。

我在这里错过了一些重要的事情来让这个新的消费者工作吗？

提前致谢。

Answer 1

检查消费者用于auto.offset.reset属性的设置

这将影响没有先前提交的偏移量的消费者群体在设置从分区开始阅读消息的位置方面所做的事情。

请查看Kafka文档以获取更多信息。

Answer 2

尝试向所有经纪人提供--bootstrap-server参数，看看您是否发现任何不同之处：

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --from-beginning --topic testTopicPartitionned2

此外，您的主题名称相当长。我假设您已经确定提供了正确的主题名称。