Question

我需要查看风暴用于通过 KafkaSpout 读取的偏移值。这是我传递的配置：

SpoutConfig kafkaConfig = new SpoutConfig(brokerHosts, "some_values",  
     "/storm/env_values", "storm_DEBUG");

我已尝试使用某些kafka工具进行搜索，但尚未找到任何有用的内容：

kafka.tools.ExportZkOffsets
kafka.tools.ConsumerOffsetChecker

是否有更好的工具可用于查找我的偏移量？

Answer 1

KafkaSpout默认情况下会在{root path}/{id}/{partition-id}下维护Storm的zookeeper的偏移信息。请阅读this以获取更多信息。

您可以在Kafka（bin/zookeeper-shell.sh zookeeperHost:port）中使用捆绑的zookeeper shell，并使用CLI浏览到该位置。对偏移路径发出get将为您提供存储的值。

Answer 2

看看https://cwiki.apache.org/confluence/display/KAFKA/Ecosystem 在Managment控制台中，有一个用于监控主题和偏移的工具列表。我记得我使用https://github.com/otoolep/stormkafkamon一个python监控工具。

但是你究竟想要什么呢？如果你只是想看到你的偏移你可以在zookeeper中看到你的偏移量，只能在你的动物园管理员中连接你的偏移量。

示例：

bin / zookeeper-shell.sh localhost：2000

连接到localhost：2000

欢迎来到ZooKeeper！ JLine支持已禁用

ls /

[风暴，经纪人，动物园管理员]

ls / brokers

[卡夫卡-喷口]

ls / brokers / kafka-spout

[partition_0]

get / brokers / kafka-spout / partition_0

{＆＃34;拓扑＆＃34; {＆＃34; ID＆＃34;：＆＃34; a9be1962-6b4e-4ed4-ae68-155a1948a1f6＆＃34;＆＃34;名称＆＃34;：＆＃34; consolidate_reports＆＃34;}，<强>＆＃34;偏移＆＃34;：4426029 下，＆＃34;隔板＆＃34;：0，＆＃34;经纪人＆＃34; {＆＃ 34;主机＆＃34;：＆＃34;本地主机＆＃34;＆＃34;端口＆＃34;：9092}，＆＃34;主题＆＃34;：＆＃34; bid_history＆＃34;}   cZxid = 0x50 ctime = Thu May 21 11:00:48 BRT 2015 mZxid = 0x50 mtime =   5月21日星期四11:00:48 BRT 2015 pZxid = 0x50 cversion = 0 dataVersion = 0   aclVersion = 0 ephemeralOwner = 0x0 dataLength = 182 numChildren = 0

Answer 3

原来我正在看错了动物园管理员。根据{{3}}：

Kafka spout将其偏移存储在Apache Storm使用的Zookeeper的同一个实例中。

所以看看卡夫卡动物园管理员并不会有帮助。

风暴：KafkaSpout - 我的消费群体在哪里？

3 个答案: