hadoop + kafka集群中的2个Zookeper服务器集群-可能吗？

Question

我们有具有以下详细信息的Kafka集群

3台kafka机器

3个Zookeeper服务器

我们还有包含数据节点机器的Hadoop集群 而且所有应用程序都使用Zookeeper服务器，包括kafka机器

现在

我们要进行以下更改

我们要添加3个Zookeeper服务器，它们将位于单独的群集中

并且只有kafka机器将使用此额外的zookeeper服务器

有可能吗？

Answer 1

可以在Hadoop配置中将ha.zookeeper.quorum编辑为与在Kafka配置中与zookeeper.connect分开，这样就可以实现两个单独的Zookeeper集群。

但是，例如，我认为Ambari或Cloudera Manager不允许您一次查看或配置多个Zookeeper集群。

Answer 2

是的，那是可能的。 Kafka使用Zookeeper执行各种分布式协调任务，例如确定哪个Kafka经纪人负责分配分区负责人，以及在代理中存储有关主题的元数据。

关闭kafka后，原始的Zookeeper集群数据将使用工具复制到新集群，这是Zookeeper集群数据传输工具zkcopy

但是，如果您的Kafka集群没有停止工作，则应考虑将Zookeeper数据传输到其他Zookeeper服务器。