卡夫卡消费者滞后监测间歇性地与linkIn / Burrow“跳跃”一起

时间:2018-07-26 08:38:35

标签: apache-kafka monitoring graphite

我们正在使用最新的主版本(在撰写本文时:https://github.com/linkedin/Burrow/commit/12e681a3a8a61f84f17677996dc3e6a2b79fac41) 我们的Kafka-Brokers正在运行1.1.0 我们最近从https://github.com/Morningstar/kafka-offset-monitor切换到了Burrow,因为我们正在向集群添加授权。

现在,我们的大多数消费者滞后大部分时间都是0(根据Burrow,而在kafka-offset-monitor上,他们大多数时候大约为1K-100K-从我们的角度来看,这都是可以的)。 由于我们未知的原因,消费者的滞后“跳”例如。从一分钟到下一分钟从0到14亿(!),再过一分钟再返回。我们的主要主题大约有20位消费者,他们的所有滞后都有所增加-但幅度不同。一些“仅”从1k跳到1M,另一些“仅”从0跳到上述的十亿。

还有其他人看到吗? 是否有已知原因,或者我们必须调整配置? -我们没有更改评估或通知的默认配置的任何内容...

我们使用https://github.com/rgannu/burrow-graphite向石墨报告,我们的警报系统基于这些指标...

感谢您的帮助

0 个答案:

没有答案