Question

我正在处理几个大的txt文件，每个文件大约有8000000行。这些行的简短例子是：

usedfor zipper fasten_coat
usedfor zipper fasten_jacket
usedfor zipper fasten_pant
usedfor your_foot walk
atlocation camera cupboard
atlocation camera drawer
atlocation camera house
relatedto more plenty

将它们存储在字典中的代码是：

dicCSK = collections.defaultdict(list)
for line in finCSK:
    line=line.strip('\n')
    try:
        r, c1, c2 = line.split(" ")
    except ValueError:
        print line
    dicCSK[c1].append(r+" "+c2)

它在第一个txt文件中运行良好，但当它运行到第二个txt文件时，我收到错误MemoryError。

我使用的是带有python 2.7 32bit，intel i5 cpu，8Gb内存的7位64位窗口。我该如何解决这个问题呢？

进一步解释：我有四个大文件，每个文件包含许多实体的不同信息。例如，我想查找cat，其父节点animal及其子节点persian cat的所有信息，依此类推。所以我的程序首先读取字典中的所有txt文件，然后我扫描所有字典以查找cat及其父亲及其子节点的信息。

Answer 1

最简单的解决方案：您可能已经没有虚拟地址空间（任何其他形式的错误通常意味着在您最终获得MemoryError之前很长一段时间内运行速度非常慢）。这是因为Windows（和大多数操作系统）上的32位应用程序仅限于2 GB的用户模式地址空间（Windows可以调整为3 GB，但这仍然是一个低上限）。你有8 GB的RAM，但你的程序不能使用（至少）3/4。 Python有相当数量的每个对象开销（对象头，分配对齐等），可能性是单独的字符串使用接近GB的RAM，这是在你处理字典的开销之前，其余的你的程序，Python的其余部分等等。如果内存空间足够碎片，并且字典需要增长，它可能没有足够的连续空间来重新分配，你将获得MemoryError。

安装64位版本的Python（如果可以的话，我建议出于其他原因升级到Python 3）;它将使用更多的内存，但是，它将访问到 lot 更多的内存空间（以及更多的物理RAM）。

如果这还不够，可以考虑转换为sqlite3数据库（或其他一些数据库），因此当数据对于主内存来说太大时，它会自然溢出到磁盘，同时仍然具有相当高效的查找效果。

Answer 2

假设您的示例文本代表了所有文本，我的计算机上一行将消耗大约75个字节：

In [3]: sys.getsizeof('usedfor zipper fasten_coat')
Out[3]: 75

做一些粗略的数学运算：

75 bytes * 8,000,000 lines / 1024 / 1024 = ~572 MB

大约有572 meg用于存储其中一个文件的字符串。一旦您开始添加其他类似结构和大小的文件，您就可以快速达到虚拟地址空间限制，如@ ShadowRanger的回答中所述。

如果升级你的python对你来说是不可行的，或者它只是踢你的东西（毕竟你的物理内存有限），你真的有两个选择：把你的结果写到临时文件中 - 在加载和读取输入文件之间，或将结果写入数据库。由于您需要在聚合后对字符串进行进一步的后处理，因此写入数据库将是更好的方法。

如何解决Python中的内存错误

2 个答案: