我们的项目需要存储传感器在过程工厂中获取的数据。大约有50,000个输入，平均采样率是10次/秒。数据首先缓存在RAM中，然后每1秒转储到HDD。必须能够通过大约40个客户端实时访问数据（搜索/编辑/删除...按ID或值或时间戳）。
存储在HDD上的数据结构很简单，它只是一个表，每行包括：传感器ID（2个字节），时间戳（4个字节）和编码值（4个字节）。
写入HDD速度的计算如下：50,000 * 10 *（2 + 4 + 4）字节/秒~4.8 MB /秒。
我应该使用哪种HDD存储技术？ SQL vs NoSQL vs Simple File？
答案 0 :(得分：1)
您不需要为每个转储创建文件。您可以为每小时（或每天）创建一个文件，以便搜索/编辑/删除比一个大文件快得多。
如果您只需要一些简单的搜索，我认为基于Steve建议的简单文件可能是您需要的解决方案。
存在针对此类数据速率的SQL / NoSQL解决方案，但它们会很昂贵。如果你想在“活动”表上进行大量编辑和删除，可能会更糟。如果您需要将这些数据归档以获得更高级的查询，您可以稍后或每天将它们加载到数据库服务器（另一个系统），它将比实时插入它们更快，更便宜。