Question

我是python的新手，我正在编辑一个程序，我需要打开我的文件，但它超过1.5 Gb，所以我得到了内存错误。代码是：

f=open('thumbdata3.dat','rb')
tdata = f.read()
f.close()

ss = '\xff\xd8'
se = '\xff\xd9'

count = 0
start = 0
while True:
    x1 = tdata.find(ss,start)
    if x1 < 0:
        break
    x2 = tdata.find(se,x1)
    jpg = tdata[x1:x2+1]
    count += 1
    fname = 'extracted%d03.jpg' % (count)
    fw = open(fname,'wb')
    fw.write(jpg)
    fw.close()
    start = x2+2

所以我得到了一个

的MemoryError

in

tdata = f.read()

部分。如何在读取文件时修改分割文件的功能？

Answer 1

从描述中看来，内存占用是这里的问题。因此，我们可以使用生成器来减少数据的内存占用，以便它逐个加载正在使用的数据部分。

from itertools import chain, islice

def piecewise(iterable, n):
    "piecewise(Python,2) => Py th on"
    iterable = iter(iterable)
    while True:
        yield chain([next(iterable)], islice(iterable, n-1))

l = ...
file_large = 'large_file.txt'
with open(file_large) as bigfile:
   for i, lines in enumerate(piecewise(bigfile, l)):
      file_split = '{}.{}'.format(file_large, i)
      with open(file_split, 'w') as f:
         f.writelines(lines)

使用read（）打开文件时出现内存错误

1 个答案: