Question

我正在编写一个相当简单的python程序来读取mmap区域，并且可能会修改该mmap区域中的某些字节，或者可能会复制其中一些字节。

mmap区域有些MB大，并且分割成2048字节的大帧。程序通过该区域连续非常快速地循环，有时会复制，几乎所有时间都会触及每个2048字节帧中的几个字节。

为了将对象创建所花费的时间限制在最小值（即：仅在需要副本时创建对象），我想创建一个＆＃34;某个对象的列表＆＃34;指向每个2048字节帧的内存。

到目前为止，我已经设法用ctypes（2048 char的数组）来做到这一点，但我觉得使用起来很麻烦。我想知道是否有办法从mmap对象创建一个内存视图或类似bytearray的对象，而不是创建内存的实际副本，而是该对象只指向mmap。

以下是一些代码：

from ctypes import *
import mmap

class fixed_size_frame_2048(Structure):
    _fields_ = [("data",c_ubyte * 2048)]

nb_frames = 4096
#mmap initializing code resulting in a map object pointing to shared memory
#the map object is nb_frames*2048 bytes big
map = mmap.mmap(
            -1,
            2048 * nb_frames,
            flags=(mmap.MAP_SHARED),
            prot=(mmap.PROT_READ | mmap.PROT_WRITE)
            )

.....

#initial creation of frame objects pointing into the mmap area
frames= [ None ] * nb_frames
    for i in range(nb_frames) :
        frames[i] = fixed_size_frame_2048.from_buffer(self.map,2048*i)
        #that I don't manage to make work
        #self.frames[i] = memoryview(self.map[2048*i : 2048*(i+1)])

#in the following loop, I never create an object unless I need a copy
position = 0
while True :
    if frames[position].data[2] != 0 :
        #copy the frame to another object
        newcopy = bytearray(frames[position].data)
        #do some other stuff with the new object
        #....


    #write a byte or a few into the mmap area (I'm looking for a more pythonic thing than ctypes here)
    frames[position].data[2] = 0

    #loop stuff
    position += 1
    position %= nb_frames

期待阅读任何答案，我很难被那个答案所困扰。我一定错过了一些明显的东西，但是什么呢？

昨晚已经相当晚了，所以请注意以下几点：看来，memoryview会返回ctype对象的地址，而不是ctype对象指向的内存区域。如果我在map [：]切片上运行bytearray（），我会得到一个副本，如果我在切片上尝试memoryview，它似乎坚持指向mmap的开头。（或者至少：它总是指向mmap区域中所有4096帧 - 的相同位置。）

Answer 1

认识到mmap切片会产生bytes至关重要。这意味着数据被复制，因此不再与原始mmap连接。

首先，有必要从memoryview本身创建mmap并在之后对结果memoryview进行切片。通过这种方式，您可以查看mmap提供的内存。

在创建memoryview，bytearray等部分的array时，同样的逻辑适用。

所以代码是：

frames = [ None ] * nb_frames
for i in range(nb_frames) :
    frames[i] = memoryview(map)[2048*i : 2048*(i+1)]

或恕我直言更多pythonic：

frames = [memoryview(map)[2048*i : 2048*(i+1)] for i in range(nb_frames)]

Python：我可以获得一个内存视图或一个到mmap的bytearray映射

1 个答案: