在Kafka 0.9.0上使用Zookeeper

Question

有人能告诉我kafka 0.9.0（保存kafka中的偏移并使用新的消费者），zookeeper执行哪些功能可能需要大量资源？在资源飙升中，这些资源是否会波动很大？或者只有在集群中出现崩溃的情况？

Answer 1

正如您所说，ZooKeeper在0.9.0中不再被生产者或消费者使用。但是，Kafka将其大部分元数据存储在ZooKeeper中 - 主题，分区，副本，ISR，代理等。单个产品或消费不与ZooKeeper交互。相反，ZooKeeper与更广泛的＆＃34;互动。操作：添加新代理，添加新主题，从失败的代理恢复，从失败的控制器恢复等。此外，经纪人与ZooKeeper心跳，允许ZooKeeper知道代理是否失败。

一般来说，在0.9.0中，如果你有一个庞大的集群，大量的分区，或者非常小的＆＃34;那么，ZooKeeper只会成为性能瓶颈。 ZooKeeper节点。