为200亿个条目选择正确的数据格式/数据库

时间:2019-02-21 06:15:01

标签: python database key-value key-value-store

我正在考虑在Python的基于字典的结构中存储400亿个条目。

大约有3000万个一级密钥,总共有200亿儿童。一个一级密钥可能有多达数百万个孩子,因为它们分布不均。

约束是:

  • 创建数据库后无写操作
  • 应该可以每10秒读取一次(延迟应在1分钟以下)
  • 数据库应存储在快速磁盘上,并且不占用超过4GB的内存

在研究正确的解决方案期间,我想到了sqlite3并搁置,但也发现了针对那些工具的不同观点。

对于sqlite3和货架,我必须在内存中保留完整密钥/第一级,这可能会超过4GB的内存限制。

0 个答案:

没有答案