用于交互式视觉化的具有直流的巨大数据的清晰侧面渲染适用于分析工具

时间:2016-05-19 15:11:42

标签: python dashboard interactive crossfilter

要开发像https://dc-js.github.io/dc.js/vc/index.htmlDC这样的交互式信息中心,使用crossfilter对整个数据集进行客户端渲染是分析平台的最佳选择吗?

对分析平台的一些见解 - 一个可以连接到世界上任何地方的任何数据库表的平台,提供数据库连接详细信息并获取特定表的列以进行分析(求和,平均值,最小值,最大值)然后使用图表库渲染它们以便在客户端进行可视化。

我知道服务器端(NodeJS)渲染有一种可能的方法,可以利用crossfilter库,但作为后端,计划是使用Python。

主要关注点 - 即使数据量很大,客户端的交互也应该顺畅。现在的问题是:

  • 获取客户端的所有数据(无论其大小,以使应用程序最具交互性)是一个好主意吗?

  • 它对客户端内存堆有多大限制?

  • 有没有更好的方法,所以我们不必在交互性和客户端/服务器端数据处理之间进行权衡?

1 个答案:

答案 0 :(得分:1)

  

不管是什么,都可以获取客户端的所有数据   它的大小使应用程序最具互动性?

没有

  

它对客户端内存堆有多大限制?

与您的数据一样大。 Chrome最大限度地消耗了大约1GB的内存,但是在你到达大多数用例之前很久就会停止运行。如果压缩的数据超过10MB,则应该开始考虑非客户端选项。

  

有没有更好的方法来做到这一点,所以我们不必在两者之间进行权衡   交互性和客户端/服务器端数据处理?

您需要考虑在客户端和服务器之间共享数据处理负载的高级体系结构,这些体系结构通常没有简单的库实现。我把http://lcadata.info(它的开源)放在一起作为如何做到这一点的一个例子。它是后端的Lift / Scala / Spark,但你可以用Python做类似的事情。