快速大数据透视

时间:2011-06-29 11:22:19

标签: sql pivot data-modeling business-intelligence large-data

我们正在开发一种产品,可用于开发预测模型以及数据的切片和切割,以提供BI。

我们有两种数据访问要求。

对于预测建模,我们需要每天读取数据并逐行进行。在这种情况下,普通的SQL Server数据库就足够了,我们也没有遇到任何问题。

如果切割和切割像1GB数据这样的大尺寸数据,我们就说300 M行。我们希望以最短的响应时间轻松转动数据。

当前的SQL数据库存在响应时间问题。

我们希望我们的产品能够在任何带有Core 2 Duo处理器的2GB RAM的普通客户机上运行。

我想知道如何存储这些数据,然后我如何为每个维度创建一个旋转体验。

理想情况下,我们会有一个数据,让我们说一个大公司按销售人员按地区销售的每日销售额。然后我们想基于任何维度对其进行切片和切块,并且还能够执行聚合,唯一值,最大值,最小值,平均值和一些其他统计函数。

2 个答案:

答案 0 :(得分:1)

我会在该数据之上构建一个内存中的多维数据集。举个例子,icCube在单核i5上超过50M行的3/4测量的亚秒响应时间 - 没有任何缓存或预聚合(即,这个响应时间在所有尺寸)。

直接与我们联系,了解有关如何将其集成到您的产品中的详细信息。

答案 1 :(得分:1)

您也可以使用PowerPivot来执行此操作。这是Excel 2010的免费插件,可以处理,切片+切块等大型数据集。

如果您想围绕它进行编码,可以使用(effectively an SSAS cube

连接到PowerPivot数据库SSAS database connector

希望它有用......