用python读取巨大的.txt文件

Question

我在使用python读取一个巨大的txt文件时遇到了问题。我应该逐个读取33 GB .txt文件中的所有~500M行，但由于某些不明原因，我的脚本在7446633rd行停止，并且没有错误。 脚本如下：

file = open ("file.txt","r")
i = 0
for line in file:
    i = i + 1
print i
file.close()

我在多台机器上试过这个脚本，并且使用了32位和64位版本的python，但没有运气..

任何人都知道会出现什么问题？

Answer 1

尝试使用“with”语句。

with open("file.txt") as input_file:
    for line in input_file:
        process_line(line)

您也可以考虑使用芹菜或类似的东西并行处理这些线。

稍后编辑：如果不起作用，请尝试打开文件，然后使用范围读取行（批量读取）。