我们正在使用具有3个kafka节点的kafka集群,其版本为0.10
从kafka日志中,我们收到一条非常奇怪的消息,如下所示
Beginning offset 1432 is after the ending offset 1298 for topic data.out.cars
注意-该主题有110个分区
开始偏移为1432
而结束偏移比1298
少怎么了
kafka配置可能出什么问题了?
我们可以通过调整一些kafka参数来避免此问题吗?
答案 0 :(得分:1)
我怀疑由于保留数据而导致的清除和偏移量跃迁到了新的起点。您可以通过检查主题从开始位置的偏移来进行验证。如果消息被截断,它将从出现在主题分区详细信息上的新位置开始。
bin/kafka-console-consumer.sh --zookeeper <zk_host>:2181 --topic test --from-beginning
如果您使用的是新API,请在下面使用
bin/kafka-console-consumer.sh --bootstrap-server <broker_host>:6667 --topic test --from-beginnin