kafka:一个主题的不同偏移量

时间:2014-10-08 09:04:03

标签: java apache-kafka

我面对kafka主题的getOffset的奇怪行为(希望,这并不奇怪,我只是不明白的东西)

从控制台偏移: 第一次偏移= 8625

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kaf001:9092,kaf002:9092 --topic topic1 --time -2 --partitions 0

最后一次偏移= 16789145

./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list kaf001:9092,kaf002:9092 --topic topic1 --time -1 --partitions 0

从java代码偏移:0和16780520对应。我使用了artefact kafka_2.10:0.8.1.1

因此,java返回的偏移量与控制台的偏移量不同。但是

16780520 - 0 = 16789145 - 8625. 

所以,消息的数量是相同的。

他们为什么不同?

1 个答案:

答案 0 :(得分:1)

在zookeeper中裂脑的情况下可行:

https://issues.apache.org/jira/browse/ZOOKEEPER-1209

经纪人连接到不同的领导者,系统变得不一致。