内存映射大文件列表python

时间:2017-10-23 08:24:47

标签: python mmap memory-mapped-files

使用Python中的大型输入文件列表,我感兴趣的是,是否可以在应用程序开始时对所有这些文件进行内存映射,以加快其读取时间。在运行期间,列表中存在的任何文件都将以随机方式读取。是否有可能对它们进行内存映射,您是否认为这有助于缩短读取时间?

1 个答案:

答案 0 :(得分:0)

如果你的内存映射了你所有的大文件,那么一旦你的操作系统达到内存限制(除非你的机器有足够的内存),它们就会有很大的机会被分页,并从内存中重新带回来。交换空间将产生额外的I / O,从而有效地消除了在内存中首先映射它们所带来的好处。

说过你可以使用mmap函数来记忆Python中的地图文件