我在让kafka在多代理群集中工作时遇到了一些问题。
它由Ambari 2.6.3.0管理,我在两台主机上都安装了kafka代理,我可以看到两者都没有启动警报,但是当试图运行一些具有一些复制因素的生产者时,它并不是工作。
bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 1 --topic myTopic
导致以下错误:
bigdata@master:/usr/hdp/2.6.3.0-57/kafka$ bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 1 --topic myTopic
Error while executing topic command : replication factor: 2 larger than available brokers: 1
[2017-09-19 08:45:00,430] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 2 larger than available brokers: 1
(kafka.admin.TopicCommand$)
当在zookeeper中查找活动代理时,我只获得1个id,因此第二个代理不应该是群集的一部分。
bigdata@master:/usr/hdp/2.6.3.0-57/zookeeper$ bin/zkCli.sh
[zk: master:2181(CONNECTED) 0] connect master:2181
[zk: master:2181(CONNECTED) 1] ls /brokers/ids
[1001]
我要感谢任何关于如何将两个经纪人列在一起并能够创建具有复制因子的主题的答案或建议
编辑:添加日志(pastebin不要复制这里的长文本)
server.log:https://pastebin.com/rjKUxE5y
ambari:image