Kafka分区重新分配-如何重新平衡主题的部分分区

时间:2019-12-23 14:24:06

标签: apache-kafka

让我们说我想重新平衡主题-cars_data_hibrid_machines集群上的kafka

我们有6个kafka代理,而主题-cars_data_hibrid_machines包括200分区和复制factor is 3

在这种情况下,我将创建以下car.json

{
  "version": 1,
  "topics": [
    { "topic": "cars_data_hibrid_machines" 
  ]
}

然后

我们运行以下

kafka-reassign-partitions.sh --zookeeper $ZK_HOSTS  --topics-to-move-json-file car.json --broker-list "1,2,3,4,5,6" --generate

kafka-reassign-partitions.sh --zookeeper $ZK_HOSTS --reassignment-json-file reassignment.json –execute

现在可以说,我们只想重新平衡主题的第一个20 partitions-我的kafka群集上的cars_data_hibrid_machines

在这种情况下,如何使用主题分区构建json文件?

主题分区示例

Topic: cars_data_hibrid_machines   Partition: 0    Leader: 5    Replicas: 5,1,2        Isr: 5,2,1
Topic: cars_data_hibrid_machines   Partition: 1    Leader: 6    Replicas: 6,2,3        Isr: 6,2,3
Topic: cars_data_hibrid_machines   Partition: 2    Leader: 1    Replicas: 1,3,4        Isr: 4,1,3
Topic: cars_data_hibrid_machines   Partition: 3    Leader: 2    Replicas: 2,4,5        Isr: 4,5,2
Topic: cars_data_hibrid_machines   Partition: 4    Leader: 3    Replicas: 3,5,6        Isr: 5,6,3
Topic: cars_data_hibrid_machines   Partition: 5    Leader: 4    Replicas: 4,6,1        Isr: 4,6,1

.
.
.
.
.
.

0 个答案:

没有答案