如何解决0.10.2.1卡夫卡中的卡夫卡消费者滞后

Question

面对卡夫卡消费者滞后的问题。 现在，我们重新启动kafka消费者以减少延迟。需要修复帮助。

我们有3个经纪人和6个消费者。

Answer 1

重新启动使用者不太可能解决此问题。我建议采取以下一系列措施：

• 监视每个消费者在单位时间（每分钟，假设为每分钟）中减少了多少滞后。您可以通过将滞后的总减少量除以六来得出它。

• 如果滞后减少率仍然太低，而您想增加滞后率，则添加适当数量的消费者。您可以从上一步中估算出其他消费者的数量。

• 确保所有消费者都在同一个消费者组中。

Answer 2

1. 大多数经纪人实例的性能要比消费者高得多。如何增加主题的分区以及如何增加消费者的分区。消耗并发性可以提高性能。
2. 如果将偏移量存储在Zookeeper上，则可能会成为瓶颈。减少偏移量的提交，并尽可能使用专用的Zookeeper。最好的解决方案是在经纪人上存储抵消额。

Answer 3

当我使用一个分区的主题时，我遇到了同样的问题。我的消费者开始消费后不久，滞后现象持续增加。 对我有用的是，我已使用以下命令删除了现有的Kafka主题：

kafka-topics.sh --zookeeper本地主机：2181-删除--topic ntift

并使用以下命令创建具有多个分区（在本例中为3个）的同一主题：

kafka-topics.sh --zookeeper本地主机：2181-创建--topic ntift-分区3-复制因子3

现在，重新启动我的使用者应用程序。重新启动后，我没有看到LAG（运行以下命令来检查LAG）：

kafka-console-groups.sh --bootstrap-server localhost：9092 --group my-consumer-app --describe

组主题分区电流偏移量日志记录结束偏移量滞后消费者ID主机客户端ID app-grp ntift 0 45 45 0 sarama-9c2dd / sarama app-grp ntift 1 44 44 0 sarama-9c2dd / sarama app-grp ntift 2 43 43 0 sarama-9c2dd / sarama

我还注意到，消费者组（即my-consumer-app）已启动并正在运行，其中有3个消费者。