在Kafka 1.x中对提交和获取消费者偏移感到困惑

时间:2018-01-11 21:08:24

标签: apache-kafka

我使用了以下Kafka消费者示例代码:

cf ssh -v

我有两个问题:

(1)如果偏移提交被提交给Kafka或Zookeer?(我知道它是为了旧的kafka版本而委托给zookeeper,但是在新的kafka版本中,它仍然是ZK,但我甚至没有在配置文件中指出zookeeper IP。

(2)如果需要重新使用数据,我如何检索已提交的偏移?

1 个答案:

答案 0 :(得分:0)

对于较新的Kafka版本,偏移量不会保存在Zookeeper中,而是保存在__commit_offsets主题中,当然这个主题分布在Kafka代理中。 Zookeeper节点没有与已提交的forfesets相关的条目,您也不需要连接它。 关于检索最新提交的偏移量,当分区被分配给消费者并且这样的消费者(通过下划线Kafka协议)获得最新提交的偏移量并且将从那里开始接收时,它会自动发生。如果要在分区的开头,结尾或特定偏移处进行搜索,可以使用seekXXXX方法。