Question

我正在尝试使用numpy memmap使用非常大的numpy数组，将每个元素作为ctypes结构访问。

class My_Structure(Structure):
    _fields_ = [('field1', c_uint32, 3),
                ('field2', c_uint32, 2),
                ('field3', c_uint32, 2),
                ('field4', c_uint32, 9),
                ('field5', c_uint32, 12),
                ('field6', c_uint32, 2),
                ('field7', c_uint32, 2)]

    def __str__(self):
        return f'MyStruct -- f1{self.field1} f2{self.field2} f3{self.field3} f3{self.field4} f5{self.field5} f6{self.field6} f7{self.field7}'

    def __eq__(self, other):
        for field in self._fields_:
            if getattr(self, field[0]) != getattr(other, field[0]):
                return False
            return True

_big_array = np.memmap(filename = 'big_file.data',
                                   dtype = 'uint32',
                                   mode = 'w+',
                                   shape = 1000000
                                   )

big_array = _big_array.ctypes.data_as(ctypes.POINTER(My_Structure))

big_array[0].field1 = 5
...

它似乎工作正常，但我在64位Windows机器上出现故障，其中python.exe只是停止。在事件查看器中，我看到错误模块名称为_ctypes.pyd，异常代码为0xc0000005，我认为是访问异常。

我似乎没有在Linux上遇到同样的错误，尽管我的测试还不彻底。

我的问题是：

我的访问权限是否正确;即。我正确使用numpy.memmap.ctypes.data_as吗？
我在__str__定义的函数（__eq__和My_Structure）是否会改变其大小？即。它仍然可以作为uint32使用在数组中吗？
您认为有什么可能导致这种行为吗？特别是考虑到Windows和Linux之间的差异？

编辑：

在big_array元素上使用ctypes.addressof和ctypes.sizeof，看起来__str__和__eq__不会影响My_Structure的大小
我在访问big_array之前添加了一些断言，发现我正在尝试访问big_array[-1]，这解释了访问错误和崩溃。

让问题1开放：看起来我的代码在技术上是正确的，但我想知道是否有更好的方法来访问numpy数组而不是使用ctypes.pointer，这样我仍然可以获得使用numpy数组（越界访问警告，负索引包装等）。 Daniel下面建议使用结构化的numpy数组，但是可以用这个进行位域访问吗？

Answer 1

您可以在最后一步而不是第一步强制转换为ctypes：

_big_array[0, ...].ctypes.data_as(ctypes.POINTER(My_Structure)).field1 = 5

请注意，需要使用...来将结果保持为0d数组，以便存在.ctypes属性

现在，当然，负索引将可以正常工作：

_big_array[-1, ...].ctypes.data_as(ctypes.POINTER(My_Structure)).field1 = 5

下面的丹尼尔建议使用结构化的numpy数组，但是可以用它进行位域访问吗？

否

Numpy Memmap Ctypes Access

1 个答案: