将测量数据保存到数据库或文件系统中

Question

我们目前正在开发一种工具来统计通过特定区域的野生动物。自动计算动物数量的小工具将通过HTTP向我们的API发送数据（天气，通过动物的数量等），间隔为5分钟。将有数百个这些测量站，它应该是可扩展的。

现在出现的问题是使用文件系统还是RDBMS来保存这些数据。

Pro DB

• 保存创建条目的确切时间和日期
• 通过索引键
与区域＃直接相关

Pro Filesystem

• 收集数据不是资源密集型，因为对于每个API调用，只有1行将附加到文件

数据属性：

• 仅与1个DB条目（区域＃）
相关
• 测量站位于偏远地区，我们必须考虑中断

将如何处理数据

• 概述每个区域的时间段＃
• 如果动物的数量惊人地低/高，则作为预警系统
  • 可能使用cronjob并与simliar数据进行比较

我们正在考虑选择一个RDBMS来保存数据但我担心数百万条目后数据库会变慢并最终停止工作。这个问题是asked here，其中360M条目并不真正被视为“大数据”，所以我也不太确定我的任务。

我们应该选择these recommended techniques（MongoDB ...）还是可以由PostgreSQL或MySQL处理此任务？

Answer 1

我为海洋男孩创造了这样一个系统。设备使用HTTP或原始tcp套接字通过GPRS / iridum发送数据（以最小化带宽）。

• 接收服务器将数据存储在db-table中，并提供数据和时间戳。
• 然后解析数据并在另一个表中创建记录。
• 设备也可以从服务器请求UTC时间，因此不需要RTC。

在对＆＃34; raw＆＃34;进行任何存储之前表，一行附加到文本文件。这非常适合记录或能够从数据库停机时间恢复。

至于数据库类型，我建议定期使用RDBMS。定义数据的标记。我们使用4位代码为10000种测量值提供空间。