Question

我正在运行一台具有多个产品和消费者的Kafka服务器。现在，我想通过添加另一个代理来实现Kafka集群。如何通过将相同的主题与复制因子一起使用来做到这一点。

Answer 1

现在，您要迁移到具有两个kafka代理的集群，然后应使用以下命令将分区数增加到两个。

kafka-topics --topic my-topic --alter --partitions 2 --zookeeper zoo1

＃观察具有2号分区和RF的分区：1

kafka-topics --topic my-topic --describe  --zookeeper zoo1

Topic:my-topic PartitionCount:2 ReplicationFactor:1 Configs:

 Topic: my-topic Partition: 0 Leader: 0 Replicas: 1 Isr: 0
 Topic: my-topic Partition: 1 Leader: 2 Replicas: 1 Isr: 1

增加现有主题的复制因子很容易，需要在自定义重新分配json文件中指定额外的副本并将其与--execute选项一起使用。

创建crement-replication-factor.json

   {"version":1,
  "partitions":[
     {"topic":"my-topic","partition":0,"replicas":[0,1]},
     {"topic":"my-topic","partition":1,"replicas":[0,1]}
]}

执行以下命令

kafka-reassign-partitions --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --execute

您可以使用以下命令来验证副本。

kafka-topics --zookeeper localhost:2181 --topic my-topic --describe

Topic: my-topic Partition: 0    Leader: 0   Replicas: 0,1 Isr: 0,1
Topic: my-topic Partition: 1    Leader: 1   Replicas: 0,1 Isr: 0,1

我建议您通过以下链接在两个分区上平均分配数据。

https://labs.tabmo.io/rebalancing-kafkas-partitions-803918d8d244 https://kafka.apache.org/documentation/#basic_ops_increase_replication_factor

希望对您有帮助。

如何将单身Kafka服务器中使用的Kafka主题迁移到具有复制因子2的Kafka集群？

1 个答案: