数据库存储要求和大量数值数据的管理

Question

我正在试图弄清楚如何管理和提供大量数值数据。不确定SQL数据库是否正确。情景如下：

• 每小时收集10000组时间序列数据
• 每组5个浮点值
• 收集大约5000小时的数据

所以这总共给了我2.5亿个价值。我需要按设置ID和时间查询这组数据。如果可能，还要过滤一个或两个值本身。我也在不断添加这些数据。

这看起来像很多数据。假设每个值4个字节，即1TB。我不知道SQL数据库的一般“开销乘数”是什么。假设它是2，那就是2TB的磁盘空间。

处理这些数据有哪些好方法？我可以看到一些选项：

• 单个PostgreSQL表，其中包含ID，时间
的索引
• 单个SQLite表 - 这似乎是无法忍受的缓慢
• 每套一个SQLite文件 - 在这种情况下有很多.sqlite文件
• 像MongoDB这样的东西？甚至不知道这会如何起作用......

感谢那些之前做过此事的人的评论。

Answer 1

Mongo是一家超值商店;可能适用于您的数据，但我没有太多经验。

我可以告诉你，PostgreSQL将是一个不错的选择。它将能够处理这种数据。 SQLite绝对没有针对这些用例进行优化。