PostgreSQL中的时间序列,查询要求很高

时间:2017-12-27 16:50:30

标签: sql postgresql

我希望实施一个时间序列数据库,并且我已经使用了各种数据库选项,但是因为我不是那种知识,所以我选择坚持使用PostgreSQL,因为我有点熟悉Django使用它(特别是由于ORM)。

我们的想法是存储4列数据的时间序列(除了价格以外的所有索引)。

timestamp | id | item | price

我正在考虑每分钟添加这些,每分钟大约插入大约1500个数据点。一个月之后,我不再需要它们专门用于分钟,每天只需要一个(在00:00)。

我认为PostgreSQL应该做得好吗?这将由后端提供,并且需要相当低的延迟(300毫秒往返)。

我的主要问题在于理解PostgreSQL是否能够有效地返回数据,即使在给定的要求(例如一系列项目,开始和结束时间戳以及请求数据的间隔)时(无需返回所有内容和手动过滤。

如果我的表包含一个包含以下数据的项目:

timestamp  | id | item | price
1514391000   01    foo     10
1514391100   02    foo     20
1514391200   03    foo     30
..........   ..    ...     ..
1514392000   11    foo     20
1514393000   21    foo     20

我希望能够请求start: 1514391000end: 1514392000step: 200,我会希望收到6个结果(1000,1200,1400,1600,1800和2000)。 PostgreSQL以高效的方式实现这一点吗?

我唯一能想到的是插入我的时间序列时,我确保将它们的值四舍五入到最接近的分钟,然后我确切地知道要过滤哪些时间戳而不需要搜索数据库。

我也想知道是否可以搜索最近的时间戳'对于给定项目,相同的方案。所有这些似乎都可以通过巧妙的时间戳输入来解决,但我不确定这是否可行。

1 个答案:

答案 0 :(得分:0)

我建议使用时间戳开头和时间戳结束列。然后你可以很容易地找到匹配的行。

我正在考虑一个双表解决方案,一个用于更新的数据,另一个用于旧数据。

您还应该按天划分您最近的表格。这样您就可以更有效地管理旧数据 - 一次丢弃一天(或一周或一个月)的数据。

然后,每天(或一周或一个月)将旧数据汇总到您要存档的记录中。您可以从较新的数据中删除分区。

您可以交换存档分区或使用视图来组合它们。