Question

我想在Python中读取二进制文件，其确切的布局存储在二进制文件本身中。

该文件包含一系列二维数组，每个数组的行和列维度存储为其内容之前的一对整数。我想连续读取文件中包含的所有数组。

我知道可以使用f = open("myfile", "rb")和f.read(numberofbytes)完成此操作，但这非常笨拙，因为我需要将输出转换为有意义的数据结构。我想将numpy的np.fromfile与自定义dtype一起使用，但是没有找到方法来读取文件的一部分，使其保持打开状态，然后继续阅读修改后的dtype。

我知道我可以多次使用os到f.seek(numberofbytes, os.SEEK_SET)和np.fromfile，但这意味着文件中会有很多不必要的跳转。

简而言之，我想要MATLAB的fread（或至少像C ++ ifstream read这样的东西。）

这样做的最佳方式是什么？

Answer 1

您可以将打开的文件对象传递给np.fromfile，读取第一个数组的维度，然后读取数组内容（再次使用np.fromfile），并在同一个数组中重复其他数组的过程文件。

例如：

import numpy as np
import os

def iter_arrays(fname, array_ndim=2, dim_dtype=np.int, array_dtype=np.double):

    with open(fname, 'rb') as f:
        fsize = os.fstat(f.fileno()).st_size

        # while we haven't yet reached the end of the file...
        while f.tell() < fsize:

            # get the dimensions for this array
            dims = np.fromfile(f, dim_dtype, array_ndim)

            # get the array contents
            yield np.fromfile(f, array_dtype, np.prod(dims)).reshape(dims)

使用示例：

# write some random arrays to an example binary file
x = np.random.randn(100, 200)
y = np.random.randn(300, 400)

with open('/tmp/testbin', 'wb') as f:
    np.array(x.shape).tofile(f)
    x.tofile(f)
    np.array(y.shape).tofile(f)
    y.tofile(f)

# read the contents back
x1, y1 = iter_arrays('/tmp/testbin')

# check that they match the input arrays
assert np.allclose(x, x1) and np.allclose(y, y1)

如果数组很大，您可以考虑使用np.memmap和offset=参数代替np.fromfile来获取数组的内容作为内存映射，而不是将它们加载到RAM。

如何使用`np.fromfile`从二进制文件中读取连续数组？

1 个答案: