Question

我有3个动物园管理员和3个卡夫卡以及集群环境中的风暴

storm nimbus正在研究机器1和风暴管理员在机器2和3上工作

在某些时候KafkaSpout停止从kafka消费数据，我发现错误

2016-11-16 04:02:07.470 c.e.m.s.k.KafkaSpout [WARN] Fetch failed
com.monitor.storm.kafka.FailedFetchException: Error fetching data from [Partition{host=<machine1_ip>:9092, partition=1}] for topic [test_topic]: [NOT_LEADER_FOR_PARTITION]
    at com.monitor.storm.kafka.KafkaUtils.fetchMessages(KafkaUtils.java:193) ~[storm-kafka-0.8-plus.jar:newtrunk.10.25.2016]
    at com.monitor.storm.kafka.PartitionManager.fill(PartitionManager.java:175) ~[storm-kafka-0.8-plus.jar:newtrunk.10.25.2016]
    at com.monitor.storm.kafka.PartitionManager.next(PartitionManager.java:132) ~[storm-kafka-0.8-plus.jar:newtrunk.10.25.2016]
    at com.monitor.storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:153) [storm-kafka-0.8-plus.jar:newtrunk.10.25.2016]
    at backtype.storm.daemon.executor$fn__5624$fn__5639$fn__5670.invoke(executor.clj:607) [storm-core-0.10.0.jar:0.10.0]
    at backtype.storm.util$async_loop$fn__545.invoke(util.clj:479) [storm-core-0.10.0.jar:0.10.0]
    at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?]
    at java.lang.Thread.run(Thread.java:745) [?:1.8.0_73]
2016-11-16 04:02:07.471 c.e.m.s.k.ZkCoordinator [INFO] Task [2/4] Refreshing partition manager connections

我已检查所有服务已启动并正常运行。
我试过telnet所有端口都可以访问。
如果我删除所有主题并重新启动服务（zookeeper，kafka，storm（雨云，主管，工人））它将正常工作。但是，我无法删除主题。因为，它有一些数据。几个小时后它似乎开始工作正常而不重启。但是，它开始经常发生。所以，他们的行动有些延迟。
任何人都可以帮我找出问题所在并且是他们的问题我能以任何方式阻止它。

风暴KafkaSpout停止消耗来自kafka的消息（NOT_LEADER_FOR_PARTITION）

0 个答案: