无法使用strom cluster

时间:2015-05-08 12:24:53

标签: apache-storm kafka-consumer-api apache-zookeeper

我正在运行Strom集群,其中2个管理程序和1个nimbus正在运行。我正在使用主题id" topic1"从kafka阅读。但是在UI上我得到了错误

java.lang.RuntimeException:java.lang.RuntimeException:org.apache.zookeeper.KeeperException $ NoNodeException:KeeperErrorCode = / brokers / topics / topic1 / nonode for storm.kafka.DynamicBrok

和worker _ * .log显示以下错误。

java.io.FileNotFoundException:File' /app/storm/supervisor/stormdist/airpushTop-1-1431081661/stormconf.ser'不存在         在org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:299)〜[commons-io-2.4.jar:2.4]         在org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java:1763)〜[commons-io-2.4.jar:2.4]         at backtype.storm.config $ read_supervisor_storm_conf.invoke(config.clj:212)〜[storm-core-0.9.4.jar:0.9.4]         at backtype.storm.daemon.worker $ worker_data.invoke(worker.clj:182)〜[storm-core-0.9.4.jar:0.9.4]         at backtype.storm.daemon.worker $ fn__5033 $ exec_fn__1754__auto ____ 5034.invoke(worker.clj:398)〜[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.AFn.applyToHelper(AFn.java:185)[clojure-1.5.1.jar:na]         在clojure.lang.AFn.applyTo(AFn.java:151)[clojure-1.5.1.jar:na]         在clojure.core $ apply.invoke(core.clj:617)〜[clojure-1.5.1.jar:na]         at backtype.storm.daemon.worker $ fn__5033 $ mk_worker__5089.doInvoke(worker.clj:389)[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.RestFn.invoke(RestFn.java:512)[clojure-1.5.1.jar:na]         at backtype.storm.daemon.worker $ _main.invoke(worker.clj:500)[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.AFn.applyToHelper(AFn.java:172)[clojure-1.5.1.jar:na]         在clojure.lang.AFn.applyTo(AFn.java:151)[clojure-1.5.1.jar:na]         at backtype.storm.daemon.worker.main(Unknown Source)[storm-core-0.9.4.jar:0.9.4] 2015-05-08T17:09:19.209 + 0530 b.s.util [ERROR]暂停过程:("初始化错误") java.lang.RuntimeException:("初始化错误")         at backtype.storm.util $ exit_process_BANG_.doInvoke(util.clj:325)[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.RestFn.invoke(RestFn.java:423)[clojure-1.5.1.jar:na]         at backtype.storm.daemon.worker $ fn__5033 $ mk_worker__5089.doInvoke(worker.clj:389)[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.RestFn.invoke(RestFn.java:512)[clojure-1.5.1.jar:na]         at backtype.storm.daemon.worker $ _main.invoke(worker.clj:500)[storm-core-0.9.4.jar:0.9.4]         在clojure.lang.AFn.applyToHelper(AFn.java:172)[clojure-1.5.1.jar:na]         在clojure.lang.AFn.applyTo(AFn.java:151)[clojure-1.5.1.jar:na]         ava.lang.RuntimeException:java.lang.RuntimeException:org.apache.zookeeper.KeeperException $ NoNodeException:keeperErrorCode = / brokers / topics / topic1 / nonode for storm.kafka.DynamicBrokt backtype.storm.daemon.worker.main(未知来源)[storm-core-0.9.4.jar:0.9.4]

我使用的是kafka_2.11-0.8.2.1,apache-storm-0.9.4和zookeeper-3.4.6。

kafka和群集中没有不匹配的zookeeper jar版本。

请在这里帮助我。

非常感谢提前。

1 个答案:

答案 0 :(得分:1)

您是否确保在kafka中存在topic1并且您可以使用控制台使用者从中读取它,我已经看到org.apache.zookeeper.KeeperException $ NoNodeException:KeeperErrorCode = NoNode for ...当主题不存在时风暴拓扑已部署。

您也可以发布一些关于如何配置kafka spout的代码吗?

此错误是零星的还是一致的?