使用KafkaOffsetMonitoring工具监控Kafka Spout

时间:2014-10-08 13:03:21

标签: performance apache-storm apache-kafka

我在我的项目中使用了storm-0.9.2发行版附带的kafkaSpout。我想监控这个喷口的吞吐量。我尝试使用KafkaOffsetMonitoring,但它没有显示任何消费者从我的主题中读取。

我怀疑这是因为我在Zookeeper中指定了根路径,以便spout存储消费者偏移量。 kafkaOffsetMonitor如何知道在哪里查找有关我的kafkaSpout实例的数据?

有人可以准确解释zookeeper在哪里存储有关kafka主题和消费者的数据吗? zookeeper是一个文件系统。那么,它如何安排不同主题及其分区的数据呢?什么是消费者群体,以及如何在存储消费者偏移时由zookeeper解释?

如果有人曾经使用kafkaOffsetMonitor来监控kafkaSpout的吞吐量,请告诉我如何使用该工具找到我的喷口?

非常感谢, Palak Shah

2 个答案:

答案 0 :(得分:1)

Kafka-Spout在其自己的znode中维持其偏移量,而不是在kafka存储常规消费者偏移量的znode下。我们有类似的需求,我们必须监控kafka-spout消费者和普通kafka消费者的抵消,所以我们结束了编写自己的工具。你可以从这里获得这个工具:

https://github.com/Symantec/kafka-monitoring-tool

答案 1 :(得分:0)

我从未使用过KafkaOffsetMonitor,但我可以回答其他部分。

zookeeper.connect 是您可以为Kafka指定znode的属性;默认情况下,它会将所有数据保存在' /'。

您可以使用zookeeper命令行zkCli.sh访问zookeeper文件系统。 你应该看看/消费者和/经纪人;以下将给出偏移量

get /consumers/my_test_group/offsets/my_topic/0

您可以连续轮询此偏移量以了解喷口处的消耗率。