卡夫卡的副本处理机制?

时间:2019-05-25 09:33:58

标签: apache-kafka

我有两个问题。

  1. 我想知道如何同步领导者和追随者。 如果领导者分区收到消息,那么领导者会在后台通信中向跟随者分区广播?但似乎kafka配置文件不包含这些功能(同步端口信息等)。

  2. 如果采用以下架构。

    • 两个代理-两个分区-两个副本

    • 代理人#1-领导者分区#1,跟随者分区#2

    • 代理人#2-领导者分区2,跟随者分区1

将邮件循环发送给这两个代理...

如果消息#1转到Broker#1(分区#1),并且Broker#1已关闭,

然后,代理#2打开关注者分区#1,并且代理#2具有活动的两个领导者分区(用于传递消息#1)?

1 个答案:

答案 0 :(得分:0)

  1. 这已经由Kafka处理。您只需定义主题的复制因子。根据{{​​3}},
  

日志的分区分布在服务器中的服务器上   Kafka集群,每个服务器处理数据和共享请求   的分区。每个分区都在可配置的位置上复制   容错服务器的数量。

     

每个分区都有一个充当“领导者”的服务器,零或   更多充当“追随者”的服务器。领导者处理所有阅读和   跟随者被动地写入分区请求   复制领导者。如果领导者失败,则跟随者之一将   自动成为新的领导者。每个服务器都充当领导者   它的一些分区和其他分区的跟随者,因此负载很好   在集群中保持平衡。

  1. 您的问题不清楚。我相信我的Kafka docs应该在kafka分区,消息分发和容错方面有所启发。