卡夫卡消费者滞后监测可视化

Question

我是Kafka的新手。在研究卡夫卡期间，我认为需要监控消费者的滞后。当我从Google和文档中搜索时，发现了几种方法。

1. 卡夫卡-普罗米修斯-graphana
2. kafka-洞穴-someDB-graphana
3. kafka-burrow_stat？（我不明白它是什么..）
4. kafka-数据狗 我想问的是 文档说洞穴是用于监视的，我可以像图表（仪表板）一样可视化吗？ 没有其他工具，例如graphana或kibana或datadog？

我只是想减少管道步骤。可视化消费者滞后的简单方法是什么？

Answer 1

如果您是在组织中进行设置，则可能要使用datadog或prometheus。您也可以捕获其他与Kafka相关的指标。这些代理还与Kafka之外的许多其他工具集成在一起，将成为监视的不错的常用选择。

如果您只是针对个人POC类型的项目执行此操作，并且只想查看滞后，我会发现CMAK非常有用（https://github.com/yahoo/CMAK）。 没有没有历史数据，但可以提供包括滞后在内的Kafka集群良好的当前视觉状态。

Answer 2

对于集群范围的指标，您可以使用kafka_exporter（https://github.com/danielqsj/kafka_exporter），它公开了一些非常有用的集群指标（包括消费者滞后），并且易于与prometheus集成并使用grafana进行可视化。

Answer 3

挖洞非常有效，并且专门用于监视消费者的滞后现象。挖洞擅长于校准消费者抵销，更重要的是验证滞后是否是恶意的。它与pagerduty集成在一起，以便将警报推送到必要的参与者。

https://community.cloudera.com/t5/Community-Articles/Monitoring-Kafka-with-Burrow-Part-1/ta-p/245987

洞穴有什么

• 基于非阈值的滞后监控算法，能够评估潜在的减速情况。
• 与pagerduty集成
• 用于普罗米修斯的出口商，用于历史指标的AppD等
• 可插入用户界面

如果您正在寻找快速的解决方案，则可以部署洞穴，然后部署洞穴前端https://github.com/GeneralMills/BurrowUI