卡夫卡不可恢复的滞后

Question

我有许多关于特定消费者群体的卡夫卡主题，它们的滞后性很大。似乎可以将新消息发布到主题，并由消费者组的成员接收，但是仍然会滞后。重新启动从主题消耗的服务不会对延迟产生影响。使用kafka-console-consumer消费消息的尝试也未成功。

为什么一个话题会有这样的滞后？滞后，我指的是当前偏移量和最新偏移量（理论上是读/提交的消息）之间的增量。有问题的主题有50个分区，但通常只有一个消费者从所有分区中读取内容

描述一个主题将返回如下结果：

kafka-consumer-groups --command-config ./client-ssl.properties --bootstrap-server localhost:9092 --group error-handler --describe

error.foo.bar                    41         9               1126            1117            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    17         8               1126            1118            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    8          8               1125            1117            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    1          9               1127            1118            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    0          8               1125            1117            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    27         9               1127            1118            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    19         9               1127            1118            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63
error.foo.bar                    37         8               1126            1118            consumer-63-5b0fd4f0-5289-490f-8c6a-d2b336c4d4c4 /10.13.90.3   consumer-63

etc

针对StuartLC的评论，我认为这不是消费者无法跟上入侵率的问题。我之所以这样说，是因为当前的偏移量和最新的偏移量保持不变（自昨天以来它们从未更改）。此外，启动其他使用者实例不会影响延迟。重新调整了主题消费者，以表明还有其他消费者连接，但是滞后时间保持不变。