用于存储大型文件的数据库的最佳技术

Question

我有兴趣找到可以帮助我构建一个程序的候选软件：

• 简单的键值存储，键是一个哈希值，值是一个可能很大的文件（10-100mb。总数据集可以很容易地运行到200gb以上）
• 请求量非常低。也许每小时1000，可能更少
• 读取次数比写入次数多2x-5倍
• 自动删除暂时未查询的数据以控制磁盘空间
• 系统可以丢失数据。
• 易于安装/少依赖/易于制作xplatform

像Redis和MongoDB这样的软件似乎是有趣的候选者，但他们似乎也试图解决有效处理每秒许多请求的问题，通常是为网站提供支持。我根本没有要求。

我想知道您是否知道一种工具可以更好地匹配我想要解决的具体问题。

Answer 1

根据您的要求，最简单的解决方案是使用文件系统来存储您的数据。使用哈希密钥作为文件名。

查找效率很高，数据将自动缓存在内存中。

如果您的文件系统支持它，您可以根据每个文件的上次访问时间进行定期清理。