我有两个kafka 0.10.1
的代理群集,之前在zookeeper 3.3.6
上正确地在我的开发服务器上运行。
我最近尝试将代理版本升级到最新的kafka 2.3.0
,但没有启动。
配置没有太大变化。
谁能指导我可能会出问题的地方。为什么经纪人不入门?
更改了代理服务器1上的server.properties
broker.id=1
log.dirs=/mnt/kafka_2.11-2.3.0/logs
zookeeper.connect=local1:2181,local2:2181
listeners=PLAINTEXT://local1:9092
advertised.listeners=PLAINTEXT://local1:9092
更改了代理服务器2上的server.properties
broker.id=2
log.dirs=/mnt/kafka_2.11-2.3.0/logs
zookeeper.connect=local1:2181,local2:2181
listeners=PLAINTEXT://local2:9092
advertised.listeners=PLAINTEXT://local2:9092
注意:
1. Zookeeper在两个服务器上都运行
2.正在创建Kafka目录,即/brokers, /brokers/ids, /consumers
等。
3.在/ brokers / ids下没有任何注册。 Zookeeper CLI get /brokers/ids
返回
[]
4.命令lsof -i tcp:9082
返回
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 18290 cass 118u IPv6 52133 0t0 TCP local2:9092 (LISTEN)
4. logs/server.log
没有记录错误。
5.没有更多的日志被追加到server.log
。
服务器日志
[2019-07-01 10:56:14,534] INFO启动日志刷新程序,默认周期为9223372036854775807 ms。 (kafka.log.LogManager)
[2019-07-01 10:56:14,801] INFO等待local2:9092上的套接字连接。 (kafka.network.Acceptor)
[2019-07-01 10:56:14,829]信息[SocketServer brokerId = 1]为端点创建了数据平面接受器和处理器:EndPoint(local2,9092,ListenerName(PLAINTEXT),PLAINTEXT)(kafka.network.SocketServer)< br /> [2019-07-01 10:56:14,830]信息[SocketServer brokerId = 1]启动了1个用于数据平面(kafka.network.SocketServer)的接收器线程
[2019-07-01 10:56:14,850]信息[ExpirationReaper-1-Produce]:正在启动(kafka.server.DelayedOperationPurgatory $ ExpiredOperationReaper)
[2019-07-01 10:56:14,851]信息[ExpirationReaper-1-Fetch]:正在启动(kafka.server.DelayedOperationPurgatory $ ExpiredOperationReaper)
[2019-07-01 10:56:14,851]信息[ExpirationReaper-1-DeleteRecords]:正在启动(kafka.server.DelayedOperationPurgatory $ ExpiredOperationReaper)
[2019-07-01 10:56:14,852]信息[ExpirationReaper-1-ElectPreferredLeader]:正在启动(kafka.server.DelayedOperationPurgatory $ ExpiredOperationReaper)
[2019-07-01 10:56:14,860]信息[LogDirFailureHandler]:正在启动(kafka.server.ReplicaManager $ LogDirFailureHandler)
[2019-07-01 10:56:14,892]信息创建/ brokers / ids / 1(是否安全?错误)(kafka.zk.KafkaZkClient)
答案 0 :(得分:0)
有关ZooKeeper的文档 稳定的版本
当前稳定分支为3.4,该分支的最新版本为3.4.9。
将zookeeper版本升级到最新的3.5.5
有助于Kafka经纪人正确启动。
如果文档声明与以前的zookeeper版本不兼容,那将是非常不错的。
PS:添加了答案,以帮助因Zookeeper版本而遇到类似问题的人。