有人可以帮助我理解这个特定的kafka经纪人指标以进行监控。我已经尝试阅读文档和一些文章,但我不明白这个指标需要如何监控,以避免对prod环境中的kafka经纪人造成任何伤害。我发现尖峰在我的产品环境中以每秒5k的速度达到这个指标,但随后它又回到了每秒2k甚至更低。
每个消息传递的字节数相同。
任何详细的解释都会非常有用
答案 0 :(得分:1)
如果您遇到任何性能问题,您应该关注指标(JMX),这些指标提供的信息如每个主题每秒的字节数和#34;"并且" out"。 您提到的指标或相当通用的指标并没有说太多。
我们在测试中遇到过Kafka具有最大的吞吐量,它取决于消息大小。因此,当我们在网络中发送1MB消息时,我们有170MB / s的传输速度,但是通过发送10MB消息我们得到150MB / s。所以重要的不是消息的唯一数量,而是大小。
要衡量Kafka,您可以使用任何可以阅读和理解JMX的内容。 使用它,我们没有任何重大的性能问题。
关于Kafka JMX属性的非常详细的文档:Monitoring Kafka