Grafana如何处理具有百万分的时间序列?

时间:2019-07-12 16:58:55

标签: grafana

我工作的公司有一个能够生成大量信息的系统,他们想使用Grafana可视化该数据。

一个信息负载的例子:在24小时内,我们很可能轻松地产生了超过1000万个积分。

在这种情况下,Grafana如何处理这些数据量?它会自动处理还是我们需要实现一些后端插件来跳过光标并获得一些要点来渲染图形?

谢谢。

1 个答案:

答案 0 :(得分:0)

原始数据点的处理通常留给存储后端(例如Graphite,OpenTSDB,Prometheus ...)。然后,Grafana将查询后端,要求其使用适当的操作(平均,最小,最大...)将数据下采样到特定分辨率(例如,每分钟1点)。

最后,事情是这样的:

  1. 您有一个收集器,每秒收集一次指标,然后发送到后端
  2. Grafana将使用AVG作为聚合函数,在特定的时间窗口(例如,前一天)并以特定的分辨率(每分钟1点)要求该指标。
  3. 后端会将该窗口上的所有可用数据聚合到要求的分辨率,然后返回至Grafana。
  4. Grafana将其吸引给用户。
  5. 现在,如果/何时,用户在上午10点到凌晨12点之间看到有趣的东西,它将在此处缩小,并且Grafana将询问更多的细粒度数据(例如,每5秒一次)。 / li>

这样,它可以使最终用户的数据大小保持在可管理的大小。

作为参考,请参阅OpenTSDB的API:http://opentsdb.net/docs/3x/build/html/user_guide/querynodes/downsample.html