为什么kafka生成器在初始化时采用代理端点而不是zk

时间:2014-03-16 23:09:19

标签: apache-kafka

如果我有多个经纪人,我的生产商应该使用哪个经纪人?我是否需要手动切换代理以平衡负载?另外,为什么消费者只需要一个zookeeper端点而不是代理端点?

教程中的快速示例:

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
> bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

4 个答案:

答案 0 :(得分:28)

  

我的制片人应该使用哪个经纪人?
我是否需要手动切换代理以平衡负载?

Kafka在群集上运行,意味着一组节点,因此在生成任何内容时,您需要告诉他您为应用程序配置的LIST代理,下面是从他们的文档中获取的一个小注释

  

“metadata.broker.list”定义了Producer可以找到一个或多个Broker以确定每个主题的Leader的位置。这不需要是集群中的完整Broker集,但如果第一个Broker不可用,则应至少包含两个。无需担心找出哪个Broker是主题(和分区)的领导者,Producer知道如何连接到Broker并请求元数据然后连接到正确的Broker。

希望这清楚你的一些困惑

  

另外,为什么消费者只需要一个zookeeper端点而不是一个   经纪人端点

这在技术上并不正确,因为有两种类型的API,高级和低级消费者。

高级消费者基本上负责领导检测,线程问题等大部分事情,但是没有提供对消息的多少控制,这正是使用其他替代方案的目的简单或低级消费者,其中你会看到你需要提供经纪人,分区相关的细节。

因此消费者只有在使用高级API时才需要zookeeper端点,如果使用Simple,则需要提供其他信息

答案 1 :(得分:7)

Kafka将单个代理设置为每个主题的每个分区的领导者。领导者负责处理对该分区的读取和写入。您无法决定从非领导经纪人处读取或写入。

那么,向kafka-console-producer提供经纪人或经纪人列表意味着什么?那么,您在命令行上提供的经纪人或经纪人只是您的生产者的第一个联系点。如果您列出的代理不是您需要的主题/分区的领导者,那么您的生产者将获得当前的领导者信息(在kafka-speak中称为“主题元数据”),并在发送写入之前根据需要重新连接到其他代理。实际上,如果您的主题有多个分区,它甚至可以并行连接到多个代理(如果分区负责人是不同的代理)。

第二个q:为什么消费者需要连接的zookeeper列表而不是代理列表?答案是,kafka消费者可以在“群组”中操作,而zookeeper则用于协调这些群组(群组如何工作是一个更大的问题,超出了本Q的范围)。 Zookeeper还存储主题的代理列表,因此消费者可以直接从zookeeper中提取代理列表,这使得额外的--broker-list有点多余。

答案 2 :(得分:3)

Kafka Producer API不直接与Zookeeper交互。但是,High Level Consumer API连接到Zookeeper以获取/更新每个使用者的分区偏移信息。因此,如果无法连接到Zookeeper,则消费者API将失败。

答案 3 :(得分:2)

以上所有答案在旧版Kafka中都是正确的,但随着Kafka 0.9的到来,情况发生了变化。

现在,生产者或消费者不再与zookeeper直接互动。另一个有趣的事情是0.9,Kafka消除了高级API和低级API之间的差异,因为它们都遵循统一的消费者API。