6台kafka机器(它们是物理机器-DELL HW)
3个Zookeeper服务器
我们要向集群添加12台kafka机器
在那种情况下应该有多少个Zookeeper服务器?
为了支持18台kafka机器?
答案 0 :(得分:1)
好吧,您的问题是用Hadoop标记的,但是仅对于Kafka而言,“ 3”会有效,而“ 5-7”会更好。
但是,这些应该是专用用于Kafka的Zookeeper服务器,并且不可与与Hadoop服务(例如namenode,Hive,HBase,等等。尤其是在30多个Hadoop服务器的级别上。这是因为Zookeeper非常特定于延迟,并且需要大量内存来处理这些类型的进程。
这可以在Ambari中使用特定的服务器配置轻松完成,但是不要让Ambari使用其模板来填充它跟踪的单个Zookeeper仲裁(在每项服务中都很难找到,在不使用Ambari的情况下确实值得全部用于配置,而不是Puppet或Ansible等,但我离题)
请记住,您的集群将完全不平衡1/3,并且添加代理不会移动现有数据,也不会导致将副本分配给现有主题的新代理