使用mmap通过分块将大文件加载到主内存中

时间:2019-02-12 07:12:30

标签: python memory-management mmap

我正在尝试通过mmap加载巨大的文件,但是文件的大小非常大,加载大约需要13分钟,我心想,我应该将该文件分块为我拥有的内核数在我的机器上。每个内核都有自己的过程,可以将大块数据加载到主存储器中。

现在的问题是我该怎么办? 。我要加载的文件是二进制文件。

我使用了python mmap。 我将文件的长度设置为:文件大小/内核数 我尝试使用偏移量,但无法将其偏移到块大小,也无法将其偏移到导致其他问题的页面大小。

0 个答案:

没有答案