Python多处理和读取大文件很慢

时间:2013-04-10 19:21:02

标签: python file multiprocessing hard-drive

我正在使用python的多处理包启动不同的进程来完成一些工作。这项工作是在阅读大文件后执行的。这些文件必须由每个进程加载,因此,有许多进程试图同时从同一个硬盘驱动器获取不同的大文件,这使读取缓冲区饱和。它给我一个非常缓慢的表现。我的问题是:有没有办法告诉Python在读取缓冲区低于某个值之前不尝试打开文件?或者,当您想要通过访问同一硬盘驱动器中的大型文件来执行多处理工作时,要遵循哪种策略? 谢谢, 亚历

0 个答案:

没有答案