Question

我需要读写大量的二进制文件。是否有首选或甚至最佳字节数（我称之为BLOCK_SIZE）我应该read()一次？

一个字节肯定太少了，我不认为在RAM中读取4 GB也不是一个好主意 - 是否有'最佳'块大小？或者这甚至取决于文件系统（我在ext4）？我需要考虑什么？

Python's open()甚至提供buffering参数。我还需要调整一下吗？

这是将两个文件in-0.data和in-1.data加入out.data的示例代码（在现实生活中，有更多处理与手头的问题无关）。选择BLOCK_SIZE等于io.DEFAULT_BUFFER_SIZE，这似乎是buffering的默认值：

from pathlib import Path
from functools import partial

DATA_PATH = Path(__file__).parent / '../data/'

out_path = DATA_PATH / 'out.data'
in_paths = (DATA_PATH / 'in-0.data', DATA_PATH / 'in-1.data')

BLOCK_SIZE = 8192

def process(data):
    pass

with out_path.open('wb') as out_file:
    for in_path in in_paths:
        with in_path.open('rb') as in_file:
            for data in iter(partial(in_file.read, BLOCK_SIZE), b''):
                process(data)
                out_file.write(data)
#            while True:
#                data = in_file.read(BLOCK_SIZE)
#                if not data:
#                    break
#                process(data)
#                out_file.write(data)

Answer 1

让操作系统为您做出决定。使用mmap模块：

https://docs.python.org/3.4/library/mmap.html

它使用操作系统的底层内存映射机制将文件内容映射到RAM中。

请注意，如果您使用的是32位Python，则会有2GB的文件大小限制，因此如果您决定使用此路由，请务必使用64位版本。

例如：

f1 = open('input_file', 'r+b')
m1 = mmap.mmap(f1.fileno(), 0)
f2 = open('out_file', 'a+b') # out_file must be >0 bytes on windows
m2 = mmap.mmap(f2.fileno(), 0)
m2.resize(len(m1))
m2[:] = m1 # copy input_file to out_file
m2.flush() # flush results

请注意，您永远不必调用任何read（）函数并决定将多少字节带入RAM。这个例子只是将一个文件复制到另一个文件中，但正如您在示例中所说，您可以在两者之间进行任何处理。请注意，虽然整个文件都映射到RAM中的地址空间，但这并不意味着它实际上已经复制到那里。它将根据操作系统的判断分段复制。

读/写大二进制文件时的首选块大小

1 个答案: