我是Flink的新手。我的flink应用程序(1.10.0)使用hdfs在k8s上运行。似乎存在内存泄漏问题,因为当我检查堆内存使用情况时,堆内存始终会增加。这将导致应用在某个时候重新启动。我试图简化拓扑,使其仅包含一个Kafka使用者和一个废弃接收器。但是我仍然看到它正在使用大量内存。下图使用的最大内存约为60%,即10 GB。
我的flink-conf.yaml
如下所示
jobmanager.rpc.address: streakerflink-jobmanager
high-availability: ZOOKEEPER
high-availability.cluster-id: /streaker
high-availability.storageDir: hdfs:///flink
high-availability.zookeeper.quorum: zookeeper.default.svc.k8s-westeros-master.local:2181
zookeeper.sasl.disable: true
taskmanager.network.bind-policy: ip
taskmanager.data.port: 6121
taskmanager.rpc.port: 6122
restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 2147483647
restart-strategy.fixed-delay.delay: 5 s
taskmanager.memory.task.heap.size: 17g
taskmanager.memory.framework.off-heap.size: 512m
taskmanager.memory.managed.size: 768m
taskmanager.memory.jvm-metaspace.size: 512m
taskmanager.memory.jvm-overhead.max: 3g
taskmanager.memory.network.max: 3g
taskmanager.numberOfTaskSlots: 1
taskmanager.memory.framework.off-heap.size: 512m
metrics.internal.query-service.port: 6125
metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9999
web.log.path: /opt/flink/log/output.log
taskmanager.log.path: /opt/flink/log/output.log
任何帮助将不胜感激!