我们想使用Grafana显示测量数据。现在,我们的测量设置会创建大量保存在文件中的数据。我们将文件保持原样,并使用Spark(“数据湖”方法)直接对其进行后期处理。
我们现在想创建一些可视化文件,我想到了在运行Spark和HDFS(文件存储位置)的集群上设置Cassandra。将会有一项服务(或Spark-Streaming作业)将选定的通道从测量数据文件中转储到Kafka主题,还有一项将其放入Cassandra的作业。我之所以使用这种方法,是因为我们还有其他流处理作业,这些作业也可以实时计算。
我现在想到编写一个小型REST服务,使Grafana的Simple JSON数据源可用于提取数据并对其进行可视化。到目前为止还算不错,但是由于我们正在收集的数据量很大(有时每分钟大约300MiB),所以Cassandra数据库只能保存最近几个小时的数据。
我现在的问题是:如果有人查看数据,发现有趣的东西并创建仪表盘或面板的快照(或某些事件发生者并自动拍摄快照),并且原始数据已从Cassandra中删除,仍可以查看快照吗?数据是否随其保存?还是快照仅保存元数据并且重新查询数据源?
答案 0 :(得分:2)
根据Grafana docs:
仪表板快照 仪表板快照是一种公开共享交互式仪表板的即时方法。创建后,我们将剥离敏感数据,例如查询(指标,模板和注释)和面板链接,仅将可见的指标数据和系列名称嵌入到您的仪表板中。拥有链接并可以访问URL的任何人都可以访问仪表板快照。
因此,数据将保存在快照中,并且不再依赖原始数据。
据我了解,Local Snapshot
存储在grafana数据库中。在您的数据规模上,将外部存储(webdav等)用于快照可能是更好的选择。