我正在研究一个需要存储大量温度数据的系统。我可以每秒存储5个样本或更多。
我过去使用相对简单的mysql数据库完成了这项工作,性能变得无法忍受。插件不是太糟糕,但有明显的负载。但是,查询可能需要几分钟。
当时,我有50亿的数据,这很荒谬。我可以想到很多方法来压缩或丢弃数据而不会丢失关键信息,但这是一个完全不同的问题。
我想选择针对此类数据优化的工具/数据库,最好是跨平台(至少是linux / c ++)。
RRD(循环数据库)似乎是为这种事情而构建的,但它似乎更多地用于处理数据而不是存储数据。
还有哪些其他工具?
编辑:更多信息...
这将在嵌入式系统(Raspberry Pi)上运行,因此理想的工具具有较低的计算开销,较低的内存占用和较少的库依赖性。
存储可能不一定在同一台设备上。
我认为在一个人为的极端情况下,每小时的增长量可达到500k样本。更有可能的是每小时大约2万个样本。
不应该假设互联网访问。
答案 0 :(得分:1)
您似乎正在寻找时间序列数据库。
我知道有两位候选人:
如果您可以更具体地了解您的要求(req / s,每日数据增长,API类型,自托管或完全托管的解决方案等),我可以了解更多详细信息或推荐其他解决方案。
祝你好运。