我已经在编程中观察了一些奇怪的现象,因为在Linux系统上默认启用了overcommit。
在我看来,几乎每个高级应用程序(例如,用Java,Python或C#等高级编程语言编写的应用程序,包括用C ++编写的一些使用大型库(如Qt)的桌面应用程序)都使用疯狂的虚拟数据量操作记忆。例如,对于Web浏览器来说,分配20GB的ram而仅使用300MB的ram是正常的。或者对于dektop环境,mysql服务器,几乎每个java或单声道应用程序等都要分配数十GB的RAM。
为什么会这样?有什么意义?这有什么好处吗?
我注意到当我在linux中禁用overcommit时,如果桌面系统实际运行了很多这些应用程序,系统就会变得无法使用,因为它甚至无法正常启动。
答案 0 :(得分:3)
在虚拟机中运行代码的语言(如Java(*),C#或Python)通常会在启动时分配大量(虚拟)内存。部分此操作对于虚拟机本身是必需的,部分预先分配给分组到内部 VM。
语言在直接操作系统控制下执行(如C或C ++),这不是必需。您可以编写动态使用它们实际需要的内存量的应用程序。但是,某些应用程序/框架仍然以这样的方式设计:它们从操作系统一次请求大块内存,然后自己管理内存,希望它比它更有效。 OS。
这有问题:
必然更快。大多数操作系统已经非常聪明地管理他们的内存。规则#1的优化,衡量,优化,衡量。
并非所有操作系统都拥有虚拟内存。有一些非常有能力的人不能运行那些“粗心”的应用程序,假设你可以分配很多&很多“不真实”的记忆没有问题。
您已经发现,如果您将操作系统从“慷慨”转为“严格”,那么这些记忆力就会落在他们的鼻子上。 ; - )
(*)例如,Java一旦启动就无法扩展其VM。您必须将VM的最大大小作为参数(-Xmxn
)。认为“更安全而不是遗憾”导致某些人/应用程序严重分配。
答案 1 :(得分:1)
这些应用程序通常有自己的内存管理方法,这些方法针对自己的使用进行了优化,并且比系统提供的默认内存管理更有效。因此,他们分配大量内存块,以跳过或最小化系统或libc提供的内存管理的影响。