用于探索和分析大数据的架构

Question

我们计划为大量事件（大约数百万）构建数据探索系统。 事件包括时间，纬度/经度坐标以及一些其他属性，这些属性具有域约束值，如type和userId。

目标是在三个面板上提供数据的可视化：

• 地图（聚集在标记或热图中的事件）
• 时间直方图（按日期分配事件）
• 属性直方图（属性的直方图：类型，用户，......）

用户将通过过滤属性（构面），时间间隔或空间范围来交互式地向下钻取数据。

我们正在考虑使用OLAP服务器，但不知道这是否是最合适的解决方案。

哪种架构/系统可以在如此大的数据集上处理此操作？ 对此有任何经验或建议吗？优选使用开源组件。

由于

Answer 1

正式地，MathGL可以轻松处理（更改，制作直方图，绘图等）这样的数据集。通常我会绘制更大的数据集（最多几个Gb或大约> 1e8个数字）。 MathGL是免费的（GPL，部分LGPL）绘图库。