Kafka网络IO指标

时间:2018-02-23 11:38:25

标签: apache-kafka jmx

使用JMX服务器监控Kafka指标我想获得每个代理(节点)的所有网络IO。使用MBean kafka.server:type=BrokerTopicMetrics,name=BytesInPerSeckafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec我可以在向代理生成或使用代理时获取网络IO,但我们知道代理之间存在一些用于复制,元数据,连接到Zookeeper和等等。在我的Kafka群集中,每个节点网络IO大约为6kb,而不会消耗或生成任何数据。除了生成或使用的数据之外,是否有任何Kafka指标来监控网络IO?

2 个答案:

答案 0 :(得分:1)

kafka.network:type=RequestMetrics,name=RequestsPerSec下,您会找到所有请求类型的计数器,包括FetchFetchFollower,即使没有产生/消耗流量到集群也是如此。

答案 1 :(得分:-2)

您可以通过在生产者和消费者或经纪人处启用jmx来检查生产或消费税率。两者都是可能的。

在经纪商中,有几种指标用于n / w和请求率,例如

  • BrokerTopicMetrics.topic。{主题} .BytesInPerSec
  • BrokerTopicMetrics.topic。{主题} .BytesOutPerSec

您可以查看以下kafka文档中公开的jmx指标,虽然这并非详尽无遗,如果您想查看所有指标,可以在代理/生产者/消费者上启用jmx并通过VisualVM或任何其他工具进行检查

https://docs.confluent.io/current/kafka/monitoring.html