用于在网页中解析的大型数据集

时间:2013-06-03 18:55:58

标签: php javascript jquery

我有一个大约600,000个值的大型数据集,需要动态比较,交换等等。必须加载整个数据,因为某些计算需要跳过值,无序比较,等等。

但是,每个值只有1个字节

我考虑将其加载为一个巨大的JSON数组,但是这个页面让我觉得可能无法正常工作:http://www.ziggytech.net/technology/web-development/how-big-is-too-big-for-json/

同时,强制服务器为每个请求加载所有服务器资源,因为客户端可以轻松地进行数字运算。

所以我想我的问题是:

1)这是否可以在jQuery / Javascript中可靠地执行,如果是这样的话?

2)如果jQuery / Javascript不是更好的选择,那么在PHP中执行此操作的最佳方法是什么(通过include读入文件与巨型数组?)

谢谢!

1 个答案:

答案 0 :(得分:1)

我知道Apache Cordova可以进行SQL查询。

http://docs.phonegap.com/en/2.7.0/cordova_storage_storage.md.html#Storage

我知道它是PhoneGap,但它适用于桌面浏览器(至少我用于手机应用程序开发的所有浏览器)

所以我的建议是:

在每个用户的本地Cordova数据库中镜像数据库,然后运行所需的所有SQL查询!

一些提示: - 通过JSON将数据从服务器传输到webapp - 将数据请求分成几部分。这样,您可以轻松提供进度条,而不是等待整个数据库下载 - 创建一个包含一个保留当前数据库版本的表的表,在发送所有数据之前检查此表。每次想要“强制”更新时都要更改它。这使用户数据库保持最新并降低带宽

如果你需要向正确的方向推进,我之前已经这样做了。