我有一个设置spark.executor.memory=4G
并设置泊坞内存限制= 5G
我通过docker stats
$ docker stats --format="{{.MemUsage}}"
1.973GiB / 5GiB
内存使用= RSS +缓存= 930MB + 1.xGB = 1.97GB
缓存大小增加,直到触发OOM杀手然后我的工作将失败。
目前,我通过输入命令手动释放缓存
$ sync && echo 3 > /proc/sys/vm/drop_caches
它适用于我,但有没有更好的方法来限制docker内存缓存大小或自动删除内存缓存