我使用了以下Kafka消费者示例代码:
cf ssh -v
我有两个问题:
(1)如果偏移提交被提交给Kafka或Zookeer?(我知道它是为了旧的kafka版本而委托给zookeeper,但是在新的kafka版本中,它仍然是ZK,但我甚至没有在配置文件中指出zookeeper IP。
(2)如果需要重新使用数据,我如何检索已提交的偏移?
答案 0 :(得分:0)
对于较新的Kafka版本,偏移量不会保存在Zookeeper中,而是保存在__commit_offsets主题中,当然这个主题分布在Kafka代理中。 Zookeeper节点没有与已提交的forfesets相关的条目,您也不需要连接它。 关于检索最新提交的偏移量,当分区被分配给消费者并且这样的消费者(通过下划线Kafka协议)获得最新提交的偏移量并且将从那里开始接收时,它会自动发生。如果要在分区的开头,结尾或特定偏移处进行搜索,可以使用seekXXXX方法。