Question

我有相当多的+ - 4 GB的文本文件，当我在Python中一次读取它时，它给了我一个MemoryError（虽然看着PC性能它甚至没有接近最大内存）。在迭代文件时，脚本变得慢得多。有没有人有一个解决方案如何快速轻松地读取这些大文件？或者增加Python中的内存限制？

感谢。

Answer 1

如果您正在读取一个大文件，然后将这些行存储在数组中，那么实际上您需要将所需的内存大小加倍。

如果您使用的是line = input.readlines()，则可以使用一个来源。如果这是问题的根源，您可以将其替换为：

for item in input:
    function(item)

遍历每一行。

如果您的文本文件是CSV，请考虑使用csv库。