由于巨大的输入文件大小导致内存错误

Question

当我使用以下代码读取文件时：

lines=file("data.txt").read().split("\n")

我有以下错误

MemoryError

文件大小为

ls -l
-rw-r--r-- 1 charlie charlie 1258467201 Sep 26 12:57 data.txt

Answer 1

显然文件太大而无法一次性读入内存。

为什么不使用：

with open("data.txt") as myfile:
    for line in myfile:
        do_something(line.rstrip("\n"))

或者，如果您不使用Python 2.6及更高版本：

myfile = open("data.txt")
for line in myfile:
    do_something(line.rstrip("\n"))

在这两种情况下，你都会得到一个可以像字符串列表一样对待的迭代器。

编辑：由于您将整个文件读入一个大字符串然后将其拆分为换行符的方式将删除过程中的换行符，我在示例中添加了.rstrip("\n")以便更好地模拟结果

Answer 2

使用此代码逐行读取文件：

for line in open('data.txt'):
    # work with line