我们有一个由14个代理(在AWS实例上),一个53个主题,每个128个分区组成的Kafka地区集群。上一次,当我们添加3个新的Broker时,在分区重新平衡期间,多个Broker变成了OOM,不得不被强制杀死。
Kafka版本为1.1.0
(2.11-1.1.0)。
复制因子3,日志保留1周。
内存堆大小设置为8G。 Box具有244G可用内存(d2.8xlarge
实例类型)。
Java内存配置:
-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent
-Xms8G -Xmx8G -XX:G1HeapRegionSize=16M -XX:MetaspaceSize=96m
-XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80
问题是:
谢谢!