重新平衡分区时Apache Kafka经纪人的OOM

时间:2019-08-23 21:52:22

标签: apache-kafka out-of-memory

我们有一个由14个代理(在AWS实例上),一个53个主题,每个128个分区组成的Kafka地区集群。上一次,当我们添加3个新的Broker时,在分区重新平衡期间,多个Broker变成了OOM,不得不被强制杀死。

Kafka版本为1.1.0(2.11-1.1.0)。 复制因子3,日志保留1周。

内存堆大小设置为8G。 Box具有244G可用内存(d2.8xlarge实例类型)。

Java内存配置:

-XX:+UseG1GC -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent 
-Xms8G -Xmx8G -XX:G1HeapRegionSize=16M -XX:MetaspaceSize=96m
-XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80

问题是:

  • 什么会导致OOM?
  • 我们应该分配给Kafka经纪人多少内存,或者我们应该怎么做才能避免OOM?

谢谢!

0 个答案:

没有答案