我正在使用Kafka服务器0.9 + zookeper。我是卡夫卡的新人。它在virtualbox中运行,我可以使用公共IP连接到它,所以它正在工作......或多或少:可以获取主题和消息。 所以现在我有两个问题:
我在__consumer_offsets(空)找不到任何内容,这就是为什么我遇到了简单的消费者脚本抛出错误的问题:kafka server: Offset's topic has not yet been created
;当我通过命令ls /brokers/topics/__consumer_offsets
检查zookeeper-shell.sh控制台时,我发现错误:Node does not exist: /brokers/topics/__consumer_offsets
(也许他们已经连接了)在自动创建主题时我收到了一些小警告:WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}
任何帮助它高度赞赏。谢谢!
答案 0 :(得分:0)
当使用组的使用者连接到群集时,会自动创建__consumer_offsets
主题。
默认情况下,Sarama不支持组(https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group),因此除非您使用群集扩展(https://github.com/bsm/sarama-cluster),否则这是预期的。
如果需要,您可以使用Kafka附带的kafka-console-consumer.sh
工具来创建它。
答案 1 :(得分:0)
原因在日志中成功找到:Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic
您需要在server.properties
文件中发布以下选项:offsets.topic.replication.factor=1
。此选项不会让你做任何事情,直到计数达到3,但因为你把它设置为一个游戏盒 - 你通常只有1。