我手上有大约4400万个键值对,需要存储在我的笔记本电脑中。键和值都是短文本,键都是唯一的。它们的总大小约为几千兆字节。
我尝试将它们存储在GDBM数据库中。问题是每当我插入一条新记录时,GDBM都会检查密钥是否存在,随着数据库的增长,它会越来越慢。我的存储程序运行了2个小时,没有很快完成的迹象,所以我放弃了。
所以现在我正在寻找一个
的键值数据库系统我不需要经常访问数据库(可能是每周,或每月,那种频率)。它仅供我个人使用,因此不需要涉及主从/并发/负载平衡魔法。我可能需要不时查找某些条目,或者有时会对整个集合进行一次或两次迭代以获取某些统计信息。一旦最初存储数据,我通常不会(可能永远不会)更改数据。
我正在使用OS X的2011 Macbook Pro(无SSD),如果有帮助的话。
我应该使用什么数据库?
更新:我一直在测试一些键值数据库,包括Google的leveldb。
...
...
...
然后我将我的公共测试版OS X 10.10(我用于所有这些)更新到发布版本,问题消失了...... ...... DBM现在实际上都很快。