计划脚本计算总消费者滞后卡夫卡

时间:2018-05-02 18:51:44

标签: apache-kafka lag consumer

我想编写一个脚本来计算每个消费者/分区的总延迟。我知道一般命令。

bin / kafka-consumer-groups -bootstrap-server:9092,:9092,:9092 --describe --group

解析数据并将其打印到日志的最佳方法是什么?随着主题名称和消费者延迟,我将在每次运行此命令时添加时间戳。所以我可以将数据发送到弹性搜索,并制定总滞后量与每个消费者时间的度量值。

我们不想使用工具kafka manager和burrow Kafka版本1.1.0

谢谢,

1 个答案:

答案 0 :(得分:0)

我自己的个人方法是显示消费者组,然后使用grep命令仅选择LAG部分,该命令将通过管道传递到awk命令中,以对LAG值求和。

所以只需尝试在最后添加:

| grep -E "LAG|*" |  awk '{SUM += $5} END { print SUM}'

如果awk $ 5与LAG列不匹配,则可以使用它。 希望这会有所帮助并起作用:D