用于在Python中压缩任意数据结构的库

Question

我有一个用Python编写的应用程序，它存储了许多基本数据类型列表（int，float等），这些列表很少被访问。我正在研究一些可以在进一步处理之前压缩这些数据的库。

我查看了gzip和其他类似的库。在我看来，他们都在弦乐上工作。这是为什么？将LZ77应用于int列表而不是列表列表是否有任何限制？

那里有一个python库会做我想要的吗？

Answer 1

首先需要使用pickle or cPickle序列化Python对象，这会将其转换为一系列字节。然后，您可以使用任何压缩器（例如zlib）来压缩它。然后，您可以使用zlib和pickle将数据转换回对象。 pickle和zlib都可以在内存中工作。

Answer 2

如果您有python 3.4，则可以使用lzma library执行此操作。

如果您使用的是python 2.7，则可以使用bz2库来压缩内存中的数据。

链接中的示例看起来非常好，所以我不会在这里重写它们。