在5节点集群上的每个节点上设置Multi broker kafka

时间:2015-04-02 23:35:00

标签: hadoop server config nodes apache-kafka

我们有一个沙箱,它有5个节点,所有五个节点都运行一个kafka代理(代理ID = 0) 现在,我已经使用 不同的代理ID和日志文件目录 在所有5个节点上复制了配置文件,以使多个代理运行

-rw-r--r-- 1 root root 5652 Apr  2 23:01 server.properties - (this one being the default)
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server1.properties
-rw-r--r-- 1 root root 5675 Apr  2 23:02 server2.properties

现在使用

使用新配置文件在所有5个节点 上启动kafka
./kafka-server-start.sh config/server1.properties &
./kafka-server-start.sh config/server2.properties &

每个节点是否会运行3个三个代理?或者它的3个整体集群经纪人? 这是如何工作的?任何帮助都会受到赞赏吗?

1 个答案:

答案 0 :(得分:2)

群集中的每个节点应该只有一个配置文件,而 kafka-server-start 只应在每个节点上运行一次。例如,服务器 1 只需要包含一个包含的配置文件,例如, broker.id = 1

每次运行 kafka-server-start 时,您都在启动代理(即服务器)。当经纪人开始时,Kafka将通过ZooKeeper找到其他经纪人。这允许在集群中添加和删除新代理,而无需任何其他配置文件指定集群中的其他节点,也无需在现有节点上进行任何重新配置​​。

如果您在同一节点上多次运行 kafka-server-start ,那么您确实在同一节点上启动了多个代理,但这不是您想要的。