当我们在kafka中创建主题时,代理为此主题中的分区分配副本,并且第一副本将是首选副本,这意味着kafka群集将基于“不平衡”将分区负责人迁移到首选副本率'
考虑到随着代理的增加,分区首选副本始终是创建这些主题时分配的分区。因此,随着经纪人规模的变化,负载平衡不可扩展。
所以我想问一下,当经纪人在当前版本的kafka中增加时,有任何策略可以修改首选副本的分配。
答案 0 :(得分:2)
Kafka文档有一个关于此的部分:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion
展开群集时,您可以使用重新分配工具kafka-reassign-partitions.sh
将部分现有分配移至新代理。
Kafka没有提供自动化方法,但有第三方工具可以提供https://github.com/linkedin/cruise-control