背景
我需要收集和处理包含传感器数据的批处理日志文件。每个传感器都包含其自己的相对时间阵列(以任意数量开始,并以几毫秒的间隔递增),每个传感器包含多个列,每个列包含每个时间间隔的数据点。数据将保留以备将来分析。通常一次只查询时间数组和一列数据点。
单个日志文件如下所示:
time, sensor_1, sensor_2, ..., sensor_n
556, 0, 0, ..., 0
557, 32, 8, ..., 1.1
数据库设计
我正在使用Postgres存储数据。该模式如下所示:
请注意,日志表的每一行都包含单个单元格中的所有时间数据。同样,“传感器”表的每一行都包含单个单元格中每个传感器的全部数据。
问题
传感器表现在大于1 TB。我尚未实现任何分区,主要是因为到目前为止性能良好。
我正在努力处理备份,但这就是different question。
我主要是想知道这种方法是否合适?我缺少任何后果或缺点吗?是否有更好的方法来处理和组织这些数据?
我很环保,希望收到您的反馈。