为200亿个条目选择正确的数据格式/数据库

Question

我正在考虑在Python的基于字典的结构中存储400亿个条目。

大约有3000万个一级密钥，总共有200亿儿童。一个一级密钥可能有多达数百万个孩子，因为它们分布不均。

约束是：

• 创建数据库后无写操作
• 应该可以每10秒读取一次（延迟应在1分钟以下）
• 数据库应存储在快速磁盘上，并且不占用超过4GB的内存

在研究正确的解决方案期间，我想到了sqlite3并搁置，但也发现了针对那些工具的不同观点。

对于sqlite3和货架，我必须在内存中保留完整密钥/第一级，这可能会超过4GB的内存限制。