卡夫卡消费者滞后随机变化？

Question

所以我在版本 0.9.0.1 上有一个kafka消费者，我经常运行以下命令来检查它：

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <my-zookeeper> --group my-group

最近我注意到我的滞后随机变化，我不知道为什么，例如，如果我两次运行命令，我会得到：

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148802905  148865604  62699 <my-consumer>
...

但在第二轮比赛中，我得到之后立即：

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148865241  148865715  474   <my-consumer>
...

我在另一个消费者群体中也存在类似的问题，但是它不是随机变化的滞后数字，而是在数字和文字之间切换未知

我应该在哪里看？似乎是卡夫卡的一个问题，但也可能是一个消费者问题，欢迎任何想法。提前致谢

Answer 1

如果Offset + lag = logSize则罚款。滞后可能会根据您的消费者消费率而增加或减少，并且可以追回。您应该检查消费者中间变慢的原因。当消费者执行某些操作然后回复消息时，就会发生这种情况。我们使用kafka和风暴，当一些下游（例如持久性）需要时间时，我们会遇到类似的问题。