我们有kafka v2.10和zookeeper v3.4设置和工作。我们编写了高级消费者,消费来自Kafka的log msgs。消费者A开始消耗主题T和组ID G1的消息(遵循Apache Kafka文档中提供的高级消费者示例)。 然后,当消费者B使用相同的主题T但组ID为G2启动时,它会连接到kafka / zookeeper,但会消耗从消费者A使用的最后一个消息之后的偏移开始的log msgs。
我的理解是应该给出log msgs,从该主题的Kafka中可用的最低偏移量开始。知道为什么不这样做吗?
我们还没有复制kafka或zookeeper。此时设置的简单直接,我们正试图让它们使用基本功能。
感谢任何帮助。
另外,你知道我们在哪里可以找到每个具有新组ID的消费者与zookeeper建立连接时所谓的zookeeper创建的新目录(用于跟踪该组ID的偏移量)?
答案 0 :(得分:2)
您可以尝试在创建消费者群组时将其添加到配置
props.put("auto.offset.reset", "smallest");