当我登录我的Kafka Manager(版本0.8.2.0)时,我可以看到每个主题和分区的最新偏移信息。我希望能够以编程方式获得最新的偏移量。所以我按照https://cwiki.apache.org/confluence/display/KAFKA/Committing+and+fetching+consumer+offsets+in+Kafka上的例子,但我没有得到任何回应。
然后我读了https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper 该偏移信息应保存在/ consumer / [groupId] / offsets / [topic] / [partitionId] - >下的Zookeeper中。长(抵消)
所以我检查了我的Zookeeper(在Kafka Manager中列出,在Cluster Information下),我在/ consumer(基本上是一个空文档)下看不到任何内容。
有人可以帮我找到这些信息吗?我的Kafka配置有什么问题,最新的偏移量没有存储在/ consumer下吗?但是,Kafka经理从哪里获取这些信息?其他一些Zookeeper?
答案 0 :(得分:0)
与kafka现在处理的偏移相关的信息,所以它存储在私有(不可删除)主题调用“__consumer_offsets-”中的信息,您可以通过检查“config /”中的log.dirs属性找到该主题的位置server.properties“