Kafka的首选副本分配

时间:2017-08-30 16:16:07

标签: scala apache-kafka

当我们在kafka中创建主题时,代理为此主题中的分区分配副本,并且第一副本将是首选副本,这意味着kafka群集将基于“不平衡”将分区负责人迁移到首选副本率'

考虑到随着代理的增加,分区首选副本始终是创建这些主题时分配的分区。因此,随着经纪人规模的变化,负载平衡不可扩展。

所以我想问一下,当经纪人在当前版本的kafka中增加时,有任何策略可以修改首选副本的分配。

1 个答案:

答案 0 :(得分:2)

Kafka文档有一个关于此的部分:http://kafka.apache.org/documentation/#basic_ops_cluster_expansion

展开群集时,您可以使用重新分配工具kafka-reassign-partitions.sh将部分现有分配移至新代理。

Kafka没有提供自动化方法,但有第三方工具可以提供https://github.com/linkedin/cruise-control