Question

我有一个非常大的文件4GB，当我尝试阅读它时，我的电脑挂了。所以我想逐一阅读它，在处理完每件之后，将处理过的文件存储到另一个文件中并阅读下一篇文章。

这些作品有yield的方法吗？

我希望有一个懒惰的方法。

Answer 1

要编写惰性函数，只需使用yield：

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


f = open('really_big_file.dat')
for piece in read_in_chunks(f):
    process_data(piece)

另一个选择是使用iter和辅助函数：

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

如果文件是基于行的，则文件对象已经是行的延迟生成器：

for line in open('really_big_file.dat'):
    process_data(line)

Answer 2

如果您的计算机，操作系统和python是64位，那么您可以使用mmap module将文件内容映射到内存并使用索引和切片访问它。这是文档中的一个例子：

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

如果您的计算机，操作系统或python是32位，那么mmap-large大文件可以保留大部分地址空间和starve您的内存程序。

Answer 3

file.readlines（）接受一个可选的size参数，该参数近似于返回行中读取的行数。

bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
    process([line for line in tmp_lines])
    tmp_lines = bigfile.readlines(BUF_SIZE)

Answer 4

已经有很多好的答案，但我最近遇到了类似的问题，我需要的解决方案没有列在这里，所以我想我可以补充这个帖子。

80％的时间，我需要逐行读取文件。然后，按照此answer的建议，您希望将文件对象本身用作延迟生成器：

with open('big.csv') as f:
    for line in f:
        process(line)

但是，我最近遇到了一个非常大的（几乎）单行csv，其中行分隔符实际上不是'\n'而是'|'。

逐行阅读不是一个选项，但我仍然需要逐行处理。
在处理之前将'|'转换为'\n'也是不可能的，因为此csv的某些字段包含'\n'（自由文本用户输入）。
还排除了使用csv库，因为至少在lib的早期版本it is hardcoded to read the input line by line中这样的事实。

我提出了以下代码段：

def rows(f, chunksize=1024, sep='|'):
    """
    Read a file where the row separator is '|' lazily.

    Usage:

    >>> with open('big.csv') as f:
    >>>     for r in rows(f):
    >>>         process(row)
    """
    incomplete_row = None
    while True:
        chunk = f.read(chunksize)
        if not chunk: # End of file
            if incomplete_row is not None:
                yield incomplete_row
                break
        # Split the chunk as long as possible
        while True:
            i = chunk.find(sep)
            if i == -1:
                break
            # If there is an incomplete row waiting to be yielded,
            # prepend it and set it back to None
            if incomplete_row is not None:
                yield incomplete_row + chunk[:i]
                incomplete_row = None
            else:
                yield chunk[:i]
            chunk = chunk[i+1:]
        # If the chunk contained no separator, it needs to be appended to
        # the current incomplete row.
        if incomplete_row is not None:
            incomplete_row += chunk
        else:
            incomplete_row = chunk

我已经在大文件和不同块大小上成功测试了它（我甚至尝试了1个字节的块，只是为了确保算法不依赖于大小）。

Answer 5

f = ... # file-like object, i.e. supporting read(size) function and 
        # returning empty string '' when there is nothing to read

def chunked(file, chunk_size):
    return iter(lambda: file.read(chunk_size), '')

for data in chunked(f, 65536):
    # process the data

更新：最好在https://stackoverflow.com/a/4566523/38592

中解释这种方法

Answer 6

在Python 3.8+中，您可以在while循环中使用.read()：

with open("somefile.txt") as f:
    while chunk := f.read(8192):
        do_something(chunk)

当然，您可以使用所需的任何块大小，而不必使用8192（2**13）个字节。除非您的文件大小恰好是块大小的倍数，否则最后一个块将小于块大小。

Answer 7

我想我们可以这样写：

def read_file(path, block_size=1024): 
    with open(path, 'rb') as f: 
        while True: 
            piece = f.read(block_size) 
            if piece: 
                yield piece 
            else: 
                return

for piece in read_file(path):
    process_piece(piece)

Answer 8

我的情况有点类似。目前尚不清楚您是否知道块大小（以字节为单位）;我通常不这样做，但已知所需的记录（行）数量：

def get_line():
     with open('4gb_file') as file:
         for i in file:
             yield i

lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]

更新：感谢nosklo。这就是我的意思。它几乎可以工作，除了它在“块”之间丢失一条线。

chunk = [next(gen) for i in range(lines_required)]

这个技巧不会丢失任何线条，但看起来不太好。

Answer 9

由于我的声誉很低，我不能发表评论，但是使用file.readlines（[sizehint]）

可以更轻松地使用SilentGhosts解决方案

python file methods

编辑：SilentGhost是对的，但这应该比：

更好

s = "" 
for i in xrange(100): 
   s += file.next()

Answer 10

请参阅python的官方文档https://docs.python.org/zh-cn/3/library/functions.html?#iter

也许这种方法更像pythonic：

from functools import partial

"""A file object returned by open() is a iterator with
read method which could specify current read's block size"""
with open('mydata.db', 'r') as f_in:

    part_read = partial(f_in.read, 1024*1024)
    iterator = iter(part_read, b'')

    for index, block in enumerate(iterator, start=1):
        block = process_block(block)    # process block data
        with open(f'{index}.txt', 'w') as f_out:
            f_out.write(block)

Answer 11

要逐行处理，这是一个优雅的解决方案：

  def stream_lines(file_name):
    file = open(file_name)
    while True:
      line = file.readline()
      if not line:
        file.close()
        break
      yield line

只要没有空行。

Answer 12

您可以使用以下代码。

file_obj = open('big_file')

open（）返回一个文件对象

然后使用os.stat获取大小

file_size = os.stat('big_file').st_size

for i in range( file_size/1024):
    print file_obj.read(1024)

在Python中读取大文件的懒惰方法？

12 个答案: