我们的架构包括长期和短期分析。 今天我们使用dropwizard聚合所有数据并将其放入Influx。 Influx很容易查询,因为它是基于时间序列的数据库。
事情是"今天""数据变老并因此将其保持在流量的MS(毫秒)采样上是一种浪费。
Influx引入了缩减映射功能,您可以将ms的记录转换为数周/月等等。问题是我们需要从"缩减采样"表和非下采样查询。
我们想到了一个想法,我们可以使用短期查询流入和下采样数据作为长期持久数据进行红移。
你怎么看?也许这是浪费还是?根据要求添加更多详细信息: 多少行数据:我们预计每秒大约有1000个请求。每个请求都是一个记录 查询有多复杂:非常简单(例如,最后一天/周/年中有多少交易,有多少不同的用户登录等等。)
有多少并发用户:非常小。 50,100