Python：使用linecache读取大量文件Vs正常文件访问open（）

Question

我处于这样一种情况，即多个线程使用mutliple文件指向同一个文件读取相同的大文件。该文件至少有100万行。每行的长度从500个字符到1500个字符不等。文件上不会“写”操作。每个线程将开始从不同的行读取相同的文件。哪种方式有效..？使用Python的linecache或普通readline（）还是有其他方法吗？

Answer 1

查看mmap模块：http://docs.python.org/library/mmap.html

它允许您将文件用作数组，而操作系统则处理实际的读取和缓冲。