kafka服务器:尚未创建偏移主题

时间:2018-03-26 11:53:01

标签: go apache-kafka sarama

我正在使用Kafka服务器0.9 + zookeper。我是卡夫卡的新人。它在virtualbox中运行,我可以使用公共IP连接到它,所以它正在工作......或多或少:可以获取主题和消息。 所以现在我有两个问题:

  1. 我在__consumer_offsets(空)找不到任何内容,这就是为什么我遇到了简单的消费者脚本抛出错误的问题:kafka server: Offset's topic has not yet been created;当我通过命令ls /brokers/topics/__consumer_offsets检查zookeeper-shell.sh控制台时,我发现错误:Node does not exist: /brokers/topics/__consumer_offsets

  2. (也许他们已经连接了)在自动创建主题时我收到了一些小警告:WARN NetworkClient - Error while fetching metadata with correlation id 4157 : {topicName=LEADER_NOT_AVAILABLE}

  3. 任何帮助它高度赞赏。谢谢!

2 个答案:

答案 0 :(得分:0)

当使用组的使用者连接到群集时,会自动创建__consumer_offsets主题。

默认情况下,Sarama不支持组(https://github.com/Shopify/sarama/wiki/Frequently-Asked-Questions#how-can-i-use-sarama-to-monitor-or-join-a-consumer-group),因此除非您使用群集扩展(https://github.com/bsm/sarama-cluster),否则这是预期的。

如果需要,您可以使用Kafka附带的kafka-console-consumer.sh工具来创建它。

答案 1 :(得分:0)

原因在日志中成功找到:Number of alive brokers '1' does not meet the required replication factor '3' for the offsets topic 您需要在server.properties文件中发布以下选项:offsets.topic.replication.factor=1。此选项不会让你做任何事情,直到计数达到3,但因为你把它设置为一个游戏盒 - 你通常只有1。