Postgres-存储大量不连续的时间序列数据

时间:2018-10-12 06:52:49

标签: postgresql database-design

背景

我需要收集和处理包含传感器数据的批处理日志文件。每个传感器都包含其自己的相对时间阵列(以任意数量开始,并以几毫秒的间隔递增),每个传感器包含多个列,每个列包含每个时间间隔的数据点。数据将保留以备将来分析。通常一次只查询时间数组和一列数据点。

单个日志文件如下所示:

time, sensor_1, sensor_2, ..., sensor_n
556,  0,        0,        ..., 0
557,  32,       8,        ..., 1.1

数据库设计

我正在使用Postgres存储数据。该模式如下所示:

enter image description here

请注意,日志表的每一行都包含单个单元格中的所有时间数据。同样,“传感器”表的每一行都包含单个单元格中每个传感器的全部数据。

问题

传感器表现在大于1 TB。我尚未实现任何分区,主要是因为到目前为止性能良好。

我正在努力处理备份,但这就是different question

我主要是想知道这种方法是否合适?我缺少任何后果或缺点吗?是否有更好的方法来处理和组织这些数据?

我很环保,希望收到您的反馈。

0 个答案:

没有答案