具有大型数据集和多维度的DC js

时间:2015-08-02 11:15:54

标签: d3.js dc.js crossfilter

我一直在使用DC js进行年度数据库插件的分析。

现在需要提供大量数据(> 2,00,000行)和大量维度(20-30),它会挂起浏览器并花费大量时间和过滤也需要很长时间。

有关改善响应时间的任何建议。

我已经在使用gzip压缩,而且我的json变量长度很小。

欢迎任何架构级别的建议。

先谢谢。

1 个答案:

答案 0 :(得分:3)

每当您在浏览器中讨论具有多个维度的2,000,000多行时,您需要开始考虑平台的限制。具体来说,由于浏览器不使用Javascript对象的压缩数据结构,基本问题是:“数据对象是否适合浏览器内存?” Chrome,至少在我大约一年前检查时,大约是1GB的内存限制。有200万行和20个维度,您只需将数据加载到浏览器即可。

鉴于此,我认为您需要在架构上思考如何在保持交互性的同时限制浏览器中的数据量。开始问问题:“在任何给定时间,我实际显示的基数有多少维度?”

目标是确定应用程序的实际功能是否是浏览器可以支持的功能。如果您确定浏览器可以支持该功能(它可能可以,但它不是给定的),那么请开始考虑协调的浏览器/服务器系统如何提供您想要的交互类型。

执行此操作的一种方法是根据用户在任何给定时间显示的维度动态重新聚合。几个星期前我把http://lcadata.info放在一起作为一种方法(一种是开放源代码)的黑例,它在前端使用dc.js。但还有其他方法,确切的方法可能在某种程度上是独一无二的。

祝你好运。