需要一个用于大型数据集的快速数据集2D查看器/绘图仪

时间:2012-08-21 11:13:05

标签: plot dataset large-data

我在数据查看器/绘图仪中搜索我生成的一些数据。

事实

首先介绍一下我生成的数据:

  • 有几个数据集,每个数据集约有300万个数据点。
  • 目前每个数据集都以ascii格式存储。
  • 每一行代表一个点,由多列组成。
  • 前两列确定点的位置(即x和y值),而第一列是时间戳,第二列是0到1之间的标准化浮点数。
  • 其他列包含可用于着色图或过滤数据的其他数据。
  • 示例数据点:

      

    2012-08-08T01:02:03.040 0.0165719281 foobar SUCCESS XX:1

  •   

     

当前方法

目前我正在为每个数据集生成多个具有不同选择条件的png文件(带有gnuplot),如下所示:

  • 以灰色显示所有点。
  • 以灰色显示所有点,但以红色显示SUCCESS。
  • 以灰色显示所有点,但以红色显示SUCCESS,以绿色显示XX:-1;如果SUCCESS和XX:-1匹配则使用蓝色作为着色。

缺点

根据目前的方法,我希望解决一些缺点:

  • 我无法轻易打开/关闭某些过滤器或色彩,因为我每次都必须生成一个新的png文件。
  • 我需要在图像文件中使用有限的分辨率,因为分辨率越高,查看器越慢。所以我只能放大到有限的细节。
  • 我没有在png查看器中为每个点提供原始数据。理想情况下,我希望在选择一个点时可以看到数据。

已经过测试

我已经测试了其他一些方法:

  • Gnuplot本身有一个观众,但它无法有效处理这些点 - 它太慢而且消耗太多内存。
  • 我已经快速浏览了KST,但我找不到显示2D数据的方法,我觉得它不符合我的意愿。

愿望

我希望有一个可以对原始数据进行操作的查看器,如果缩小可以快速显示点,也可以快速放大,以及解决上述缺点。

问题

最后,是否有人知道这样的观众或有其他建议? 如果没有观众,我也欢迎一些编程推荐。


提前致谢
斯蒂芬

0 个答案:

没有答案