Question

我使用Python集合集来存储唯一对象。每个对象都会覆盖__hash__和__eq__。

该集包含近200 000个对象。该集本身占用了近4 GB的内存。它在超过5 GB的机器上运行良好，但现在我需要在只有3 GB RAM的机器上运行脚本。

我将一个脚本重写为C＃ - 实际上从同一个源读取相同的数据，将它放到set（HashSet）的CLR模拟中，而不是4 GB，它接近350 MB，而脚本执行的速度相对较快相同（接近40秒）但我必须使用Python。

Q1：Python是否有任何“磁盘持久性”设置或任何其他解决方法？我猜它只能在内存中存储hash / eq方法中使用的“key”数据，其他所有内容都可以保存到磁盘上。或许在Python中还有其他的变通方法可以拥有一个独特的对象集合，这些对象可能占用的内存比系统中可用的内存多。

Q2：不太实际的问题：为什么python set会为一个集合占用更多内存？

我在64位Ubuntu 12.10上使用标准Python 2.7.3

谢谢。

UPDATE1：什么脚本做：

阅读许多半结构化的JSON文档（每个JSON都包含带有与之相关的聚合对象集合的序列化对象）
解析每个JSON文档，从中检索主对象和聚合集合中的对象。每个解析的对象都存储在一个集合中。 Set仅用于存储唯一对象。首先我使用了数据库，但数据库中的唯一约束使x100-x1000的速度变慢。每个JSON文档都被解析为1-8种不同的对象类型。每个对象类型都存储在它自己的集合中，只在内存中保存唯一的对象。
存储在集合中的所有数据都会以唯一约束保存到关系数据库中。每个集都存储在单独的数据库表中。

脚本的整个想法是获取非结构化数据，从JSON文档中的聚合对象集合中删除重复项，并将结构化数据存储到关系数据库。

更新2：

2 delnan：我评论了所有代码行，添加了不同的集合，使所有其他人员（获取数据，解析，迭代）保持不变 - 该脚本占用的内存减少了4 GB。

这意味着当这些200K对象被添加到集合中时 - 它们开始占用大量内存。该对象是来自TMDB的简单电影数据 - ID，类型列表，演员列表，导演，许多其他电影细节以及可能来自维基百科的大型电影描述。

Answer 1

最好的方法可能是使存储在集合中的对象更小。如果它们包含不必要的字段，请将其删除。

为了减少一般对象开销，您还可以使用__slots__来声明使用的字段：

class Person(object):
   __slots__ = ['name', 'age']
   def __init__(self):
      self.name = 'jack'
      self.age = 99

Answer 2

集合确实使用了大量内存，但列表却没有。

>>> from sys import getsizeof
>>> a = range(100)
>>> b = set(a)
>>> getsizeof(a)
872
>>> getsizeof(b)
8424
>>>

如果您使用套装的唯一原因是为了防止重复，我建议您改用列表。您可以通过在添加对象之前测试对象是否已在列表中来防止重复。它可能比使用集合的内置机制要慢，但它肯定会使用更少的内存。

Answer 3

尝试使用__slots__来减少内存使用量。

当我上次遇到包含大量对象的问题时，使用__slots__会将内存使用量减少到1/3。

以下是您可能感兴趣的SO question about __slots__。