Apache Kafka为什么生产者是由经纪人连接的,但消费者是连接到zookeeper的?

时间:2018-04-27 09:12:09

标签: apache-kafka apache-zookeeper

旧版本建议消费者连接zookeeper,新版本建议链接经纪人?来自社区的一位网友回复我说,旧版本的主题偏移是ZK,新版本是Kafka本身。这是这个答案的答案吗?

1 个答案:

答案 0 :(得分:3)

Kafka的旧版本,即0.9版本之前存储与Zookeeper的偏移。

较新版本的Kafka,在名为 __ consumer_offsets 的内部Kafka主题中存储偏移量。

较新的版本仍然提供了使用Zookeeeper存储偏移的可行性。

有了这个,消费者现在只能与经纪人交谈,而不需要依赖Zookeeper。

如果有很多消费者同时从Kafka读取,ZooKeeper上的读写负载可能超过其容量,使ZooKeeper成为瓶颈。

检查以获取更多信息

https://github.com/SOHU-Co/kafka-node/issues/502