实时自动扩展kafka分区

时间:2018-12-20 20:44:21

标签: apache-kafka

我想知道我们是否可以实时自动缩放生产系统中的kafka分区?我可以使用kubernetes HPA自动扩展我的用户,但这将与我拥有的分区数量并发。请指教。

1 个答案:

答案 0 :(得分:0)

您可以按比例放大主题,但是Kafka内置没有自动的方法。

即使它可以自动化,您也将失去键控消息的顺序,因为现在生产者将重新计算将消息发送到哪里的分区值。此外,分区中的现有数据不会自动移动,因此缩放主题以适应现有负载不会有什么好处,因为所有新分区都将为空

当前没有缩小主题的方法,甚至缩小集群都需要一些手动干预才能耗尽副本并重新分配分区