我想知道我们是否可以实时自动缩放生产系统中的kafka分区?我可以使用kubernetes HPA自动扩展我的用户,但这将与我拥有的分区数量并发。请指教。
答案 0 :(得分:0)
您可以按比例放大主题,但是Kafka内置没有自动的方法。
即使它可以自动化,您也将失去键控消息的顺序,因为现在生产者将重新计算将消息发送到哪里的分区值。此外,分区中的现有数据不会自动移动,因此缩放主题以适应现有负载不会有什么好处,因为所有新分区都将为空
当前没有缩小主题的方法,甚至缩小集群都需要一些手动干预才能耗尽副本并重新分配分区