需要一种很好的方法来存储大量数据

时间:2010-08-25 14:29:00

标签: embedded-database

我以每16.66ms 4096字节的速率生成数据。这些数据需要不断存储,并随机读取。将它放在关系数据库中会很好,但我认为执行这么多插入会为我正在使用的处理器(ARM11)带来太多开销。而且我不需要SQLite提供的所有功能。

事实上,将这些内容写入文件似乎很诱人,因为虽然大部分时间我只是在编写大量数据,但实际上我需要读取数据时,我可以寻找我需要的块。但是,我只是知道我会遇到一些问题。特别是当我把这个东西运行一天并最终得到千兆字节的数据时。

这对我的问题似乎是一个非常天真的解决方案,我需要别人告诉我,所以我可以开始考虑更好的解决方案。感谢。

1 个答案:

答案 0 :(得分:0)

您应该添加更多细节以获得更好的答案。你有什么用例,你需要ACID,你写的存储是什么等等。

您的操作系统是什么,您只编写固定大小的记录。只是说像我会做随机访问,这是我的写入率是非常不明确。

您的写入速度为240 kb / s,每天20 GB。

如果您只有固定大小的记录,只附加数据并使用Linux,那么普通文件就很棒。如果您的存储空间足够快,也许可以考虑使用一些fsync调用。