如何自动扩展apache zookeeper

时间:2017-09-20 15:09:00

标签: apache-kafka apache-zookeeper

使用Auto Scale扩展Zookeeper群集的任何人?如果动物园管理员规模,客户如何知道它已经扩大或缩小?特别喜欢将动物园管理员列表添加到配置文件中的Kafka,动物园管理员会如何缩放kafka现在的规模等等?

1 个答案:

答案 0 :(得分:2)

简短回答:ZooKeeper客户端不需要基本知道/跟踪是否有新节点添加到ZooKeeper集群。他们只需要至少一个可用(健康)的ZK节点。

更长的答案(以Kafka作为ZK的示例客户):

  1. 如果您只是向ZooKeeper集群添加新节点,那么Kafka经纪人就不会知道这一点,因为zookeeper.connect配置仍然包含健康的ZK节点。
  2. 但是,如果您要更换/删除某些ZooKeeper节点,并且这些节点是zookeeper.connect配置中唯一存在的节点,那么在更新后将需要滚动重启Kafka节点zookeeper.connect配置。
  3. 对于上面的#1,最好在Kafka群集重启的下一次机会中将新的ZK节点添加到Kafka配置中。

    同样适用于依赖ZK的其他技术(例如Apache Storm)。