Question

我在32位Windows（和python）上使用1.5 GB文件并使用mmap模块。

正如您所看到的，我使用参数offset=0x5E2030AA来获取我感兴趣的数据的起点。由于mmap.mmap模块的偏移量必须是mmap.ALLOCATIONGRANULARITY，我使用以下函数获取最近的偏移量：

def getNearestOffset(offset):
    nearest = offset
    nearest -= (offset % mmap.ALLOCATIONGRANULARITY)
    return nearest

然后我通过从offset=0x5E2030AA中减去传递的属性nearestOffset来寻找剩余的偏移量。

def readRIFF(fileno, bufLength=1024**3, offset=0x5E2030AA):
    partialData = False
    previousRIFF = None
    while True:
        nearestOffset = getNearestOffset(offset)
        with contextlib.closing(mmap.mmap(fileno, bufLength, offset=nearestOffset, access=mmap.ACCESS_READ)) as mm:
            if not partialData:
                mm.seek(offset - nearestOffset)
                startOffset = mm.tell()
                riffID = mm.read(4)
                assert riffID == "RIFF"
                riffSize = toLittleEndianInt(mm.read(4))
                riffType = mm.read(4)
                riffData = mm.read(riffSize - 4)
                # Check for partialData
                if len(riffData) != riffSize - 4:
                    print "DEBUG: Current RIFF blobs trunkated."
                    partialData = True
                    previousRIFF = riffBlob.RiffBlob(riffID, riffSize, riffType, riffData, startOffset)
                    break

但是当我尝试实现一个新的mmap对象（在readRIFF函数中）时，我得到以下异常：

Traceback (most recent call last):
  File "testRead.py", line 57, in <module>
    readRIFF(f.fileno())
  File "testRead.py", line 28, in readRIFF
    with contextlib.closing(mmap.mmap(fileno, bufLength, offset=nearestOffset, access=mmap.ACCESS_READ)) as mm:
WindowsError: [Error 8] Not enough storage is available to process this command

我很困惑，为什么会发生这种异常？是否有不同的方式来访问我想要的偏移量？我是否必须修改长度参数，因为我尝试读取的文件大小超过了文件？

Answer 1

好吧，好像我自己找到了答案。

contextmanager contextlib.closing实际上并没有从内存中删除创建的内存映射（？），因此我的内存在每次新调用时都会慢慢填满。

我在完成从blob中提取相关数据后，只需用del(mm)删除内存映射即可修复此问题。

Python：mmap模块的偏移量参数Exception

1 个答案: