Python如何比我的硬盘更快地读取此文件?

时间:2014-06-17 18:11:07

标签: python macos file-io

Python如何能够比我的硬盘(Mac Mini运动SSD)的理论最高速度更快地读取文件? bigfile是完全随机数据的3.22 GB文件,并且根据QuickBench的硬盘读取速度是< 500 MB / s。

t0 = time.perf_counter()
f = open('/Volumes/V/bigfile', 'rb')
checksum = 1
bites = f.read(1048576)
while bites:
    checksum = zlib.adler32(bites, checksum)
    bites = f.read(1048576)

print('Checksum: %s, Time taken: %s' % (checksum, time.perf_counter() - t0))

打印:校验和:520807048,拍摄时间:0.8804108270001052

这是不可能的!我错过了什么?

2 个答案:

答案 0 :(得分:5)

该文件位于操作系统的磁盘缓存中,该缓存存储在RAM中。 RAM很快。

答案 1 :(得分:2)

有几种选择,如何发生这种情况: