Kafka使用同步复制进行读取

时间:2015-11-19 14:50:58

标签: replication apache-kafka kafka-consumer-api

我是Kafka的新手,在阅读Kafka here中的同步复制时,我对以下段落感到惊讶:

“为简单起见,读取始终由领导者提供。只有到HW的消息才会暴露给读者”

有人知道这是否意味着无法从Kafka的分区副本中读取?该链接是从2013年2月开始的,也许事情已经发生了变化。有关同步复制读取的任何解释将不胜感激。

1 个答案:

答案 0 :(得分:1)

阅读有关主题here的更多信息,这是正确的,写入和读取始终都是主题分区的领导者。这是有道理的,因为只有提交的消息被发送给消费者,并且它是唯一知道消息何时被提交的领导者。

这就是说,在所有经纪人中分配主题分区和领导者是很重要的,以便扩展每个经纪人的消费者数量。例如,如果所有主题分区领导者都在一个代理中,则此代理(CPU,磁盘,内存,尤其是带宽)响应编写者和读者的容量将决定并发写入者和读者的最大数量。