MessagesInPerSec for Kafka

时间:2018-02-24 17:27:19

标签: apache-kafka

有人可以帮助我理解这个特定的kafka经纪人指标以进行监控。我已经尝试阅读文档和一些文章,但我不明白这个指标需要如何监控,以避免对prod环境中的kafka经纪人造成任何伤害。我发现尖峰在我的产品环境中以每秒5k的速度达到这个指标,但随后它又回到了每秒2k甚至更低。

每个消息传递的字节数相同。

任何详细的解释都会非常有用

1 个答案:

答案 0 :(得分:1)

如果您遇到任何性能问题,您应该关注指标(JMX),这些指标提供的信息如每个主题每秒的字节数和#34;"并且" out"。 您提到的指标或相当通用的指标并没有说太多。

我们在测试中遇到过Kafka具有最大的吞吐量,它取决于消息大小。因此,当我们在网络中发送1MB消息时,我们有170MB / s的传输速度,但是通过发送10MB消息我们得到150MB / s。所以重要的不是消息的唯一数量,而是大小。

要衡量Kafka,您可以使用任何可以阅读和理解JMX的内容。 使用它,我们没有任何重大的性能问题。

关于Kafka JMX属性的非常详细的文档:Monitoring Kafka