kafka +开始偏移比之前的最后偏移高得多

时间:2019-11-12 04:47:06

标签: apache-kafka kafka-consumer-api kafka-producer-api

我们正在使用具有3个kafka节点的kafka集群,其版本为0.10

从kafka日志中,我们收到一条非常奇怪的消息,如下所示

Beginning offset 1432 is after the ending offset 1298 for topic data.out.cars

注意-该主题有110个分区

开始偏移为1432而结束偏移比1298少怎么了

kafka配置可能出什么问题了?

我们可以通过调整一些kafka参数来避免此问题吗?

1 个答案:

答案 0 :(得分:1)

我怀疑由于保留数据而导致的清除和偏移量跃迁到了新的起点。您可以通过检查主题从开始位置的偏移来进行验证。如果消息被截断,它将从出现在主题分区详细信息上的新位置开始。

bin/kafka-console-consumer.sh --zookeeper <zk_host>:2181 --topic test --from-beginning

如果您使用的是新API,请在下面使用

bin/kafka-console-consumer.sh --bootstrap-server <broker_host>:6667 --topic test --from-beginnin