我有几个用户处理大文件(1GB)。这些文件只是数百万点的大型原始载体。它代表了很长一段时间内信号的获取。
我有一个桌面软件可视化这些数据。基本上,我加载文件,应用过滤器(带通)和所有数据并绘制矢量。
我想要做的是通过Web应用程序中的部件可视化数据。大块的数据可能不是那么大,所以我不必在浏览器中加载整个文件(我甚至不知道是否可能)。文件存储在S3上。
我的问题是,如何有效地存储文件,以便能够通过部分快速检索它们。例如,一个文件中有1亿个样本,但我只想绘制样本[125000,150000]。如何在不必将整个文件从S3升级到EC2的情况下进行管理?我想过存储10000个数据样本的块,这样我最多可以获得3个文件,但这是一个好方法吗?
答案 0 :(得分:3)
Amazon S3支持读取文件的一部分。如果您可以计算所需数据点及其长度的偏移量,则只能读取该部分。
此链接显示了如何使用HTTP GET执行此操作:
此页面显示了如何使用适用于各种语言的AWS开发工具包执行此操作: