大数据集的字典界面

Question

我有一组键/值（所有文本）太大而无法一次加载到内存中。我想通过类似Python字典的界面与这些数据进行交互。

这样的模块是否已经存在？

读取键值应该是高效的，并且在磁盘上压缩值以节省空间。

编辑：

• 理想情况下是跨平台，但现在只使用Linux
• 需要线程安全

Answer 1

查看shelve模块。它为字典提供了各种后备数据库系统，包括BerkleyDB和dbm。

Answer 2

尝试bsddb(Python bindings for Berkley db)

Answer 3

最终根据my own solution创建this existing module。

Answer 4

假设你在* nix平台上，你只是为了东京橱柜而开始......它有一套原生的ruby绑定......你可以在1978th.net获得更多信息......