监控Kafka集群,生产商和消费者

时间:2016-10-24 09:36:35

标签: apache-kafka kafka-consumer-api kafka-producer-api

我是Kafka的新手,我有三个节点Kafka集群,有多个消费者和生产者。我想根据三个参数监控Kafka集群:

1.Topic wise monitoring - to get incoming rate of topic , lag in a topic, number of active consumers attached with the topic, number of partitions
2.Consumer based monitoring - the topic from which it is consuming,consumption speed. a number of messages consumed.
3.Message-Based Monitoring - topic name in which message is produced,and status of message i.e whether it's processed or pending.

我尝试了各种监控工具,如(KafkaOffsetMonitor,Burrow),但没有一个与我的用例匹配。所以有人可以建议如何设置这种监控系统吗?。有可用的API,我可以通过它来获得上述 - 提到的细节

2 个答案:

答案 0 :(得分:2)

您可以启动JConsole并监控整个Kafka群集,并配置JMX。有关详细信息,请参阅https://kafka.apache.org/documentation#monitoring

答案 1 :(得分:1)

我们使用两件事。

看看这个great blog about monitoring Kafka,大多数有关监控Kafka的工具和文章都在那里进行了总结。