我想编写一个脚本来计算每个消费者/分区的总延迟。我知道一般命令。
bin / kafka-consumer-groups -bootstrap-server:9092,:9092,:9092 --describe --group
解析数据并将其打印到日志的最佳方法是什么?随着主题名称和消费者延迟,我将在每次运行此命令时添加时间戳。所以我可以将数据发送到弹性搜索,并制定总滞后量与每个消费者时间的度量值。
我们不想使用工具kafka manager和burrow Kafka版本1.1.0
谢谢,
答案 0 :(得分:0)
我自己的个人方法是显示消费者组,然后使用grep命令仅选择LAG部分,该命令将通过管道传递到awk命令中,以对LAG值求和。
所以只需尝试在最后添加:
| grep -E "LAG|*" | awk '{SUM += $5} END { print SUM}'
如果awk $ 5与LAG列不匹配,则可以使用它。 希望这会有所帮助并起作用:D