我有一个合理大小的Kubernetes集群,每个节点至少有20个Pod,超过10个节点。
底层Docker代理正在使用overlay2作为其存储引擎。
我们经常看到,经过数小时到数天之后,容器中的进程不再能够写入某些目录。看到的错误是:
root@node:/project/input# echo " " >> test.txt
bash: test.txt: No such file or directory
经过大量测试后,似乎无法将文件写入到不经常写入的目录中。浏览了overlay2目录之后,我可以看到我能够写入的目录位于“ upper”目录中。我无法写入的目录位于“下部”链接的目录中。
节点的inode使用率低于10%,我们没有达到inotify监视限制,内存平均至少剩余10%(> 1GB)和60%的CPU使用率。
可能是什么原因造成的?