我在数据查看器/绘图仪中搜索我生成的一些数据。
事实
首先介绍一下我生成的数据:
- 有几个数据集,每个数据集约有300万个数据点。
- 目前每个数据集都以ascii格式存储。
- 每一行代表一个点,由多列组成。
- 前两列确定点的位置(即x和y值),而第一列是时间戳,第二列是0到1之间的标准化浮点数。
- 其他列包含可用于着色图或过滤数据的其他数据。
- 示例数据点:
2012-08-08T01:02:03.040 0.0165719281 foobar SUCCESS XX:1
当前方法
目前我正在为每个数据集生成多个具有不同选择条件的png文件(带有gnuplot),如下所示:
- 以灰色显示所有点。
- 以灰色显示所有点,但以红色显示SUCCESS。
- 以灰色显示所有点,但以红色显示SUCCESS,以绿色显示XX:-1;如果SUCCESS和XX:-1匹配则使用蓝色作为着色。
缺点
根据目前的方法,我希望解决一些缺点:
- 我无法轻易打开/关闭某些过滤器或色彩,因为我每次都必须生成一个新的png文件。
- 我需要在图像文件中使用有限的分辨率,因为分辨率越高,查看器越慢。所以我只能放大到有限的细节。
- 我没有在png查看器中为每个点提供原始数据。理想情况下,我希望在选择一个点时可以看到数据。
已经过测试
我已经测试了其他一些方法:
- Gnuplot本身有一个观众,但它无法有效处理这些点 - 它太慢而且消耗太多内存。
- 我已经快速浏览了KST,但我找不到显示2D数据的方法,我觉得它不符合我的意愿。
愿望
我希望有一个可以对原始数据进行操作的查看器,如果缩小可以快速显示点,也可以快速放大,以及解决上述缺点。
问题
最后,是否有人知道这样的观众或有其他建议?
如果没有观众,我也欢迎一些编程推荐。
提前致谢
斯蒂芬