处理非常大的python字典时如何节省RAM？

Question

我有十亿个级别的键值对，需要为它们创建一个查找表。我目前使用本机python dict，但是，当将成对的字典添加到dict中并消耗大量RAM（数百GB）时，它似乎非常慢。我需要的选项是1）将每一对添加到dict中，以及2）查找几百万次。有什么建议的方法可以满足我的要求？我有一台具有数百GB内存（但不足以将所有内容存储在内存中）和大量CPU内核的计算机。

Answer 1

如果未在计算机之间共享此数据（并且我认为不是dict在内存中），则建议使用本地SQLite数据库。

Python有一个internal library用于与SQLite交互，该SQLite快速（用C编写），将数据存储到磁盘（以节省RAM）并且几乎在任何地方都可用。