在PostgreSQL

Question

我在表格中有几百万个条目start和end个时间戳。我想实现一个分析工具，它确定特定时间间隔的唯一条目。让我们说昨天和前一个月之间。

根据查询所需的时间间隔在几秒到30分钟之间。我将如何为网络前端实施分析工具，以便快速查询此数据，类似于Google Analytics。

我正在考虑将数据移动到 Redis 并使用间隔和排序集等做一些聪明的事情但是我想知道 PostgreSQL 中是否有某些内容可以允许执行聚合查询，重新使用旧查询，以便例如在查询前几天后，在查看不同的时间间隔时，它不会再从头开始。

如果没有，我该怎么办？将数据导出为 Apache Spark 或 Dynamo DB ，并在其中进行分析以填充 Redis 以便更快地检索它？

Answer 1

要么会这样做。

聚合是他们所能做的基本任务，您的数据足够适合主内存。所以你甚至不需要一个数据库（但是数据库的聚合函数可能仍然比你重写它们更好;而且SQL使用起来非常方便。

Jusr 做它。试一试。

P.S。确保启用数据索引，并选择正确的数据类型。也许检查查询计划。