近实时分析策略

时间:2015-03-10 17:39:44

标签: real-time data-warehouse olap dimensional-modeling

我几乎没有"维度",主要是层次结构我希望在层次结构中运行保存在各个级别的一些指标。当您浏览此层次结构时,指标会根据您当前的选择进行更新。

在传统的OLAP系统中,您有一些带有事实表的维度表,您可以使用ETL将数据导入数据仓库并针对该数据仓库运行查询。我想近乎实时地这样做。实时执行意味着ETL必须近乎实时运行(可能是内存中缓存的数据点)。

如果层次结构是(X - > Y - > Z),那么如果我有5个X,2个Y和5个Z作为维度,那么我需要运行(5 * 2 * 5)=> 50个查询来填充事实表?如果这个层次结构变得更大,那么我可以轻松地运行数百万个查询。我不确定我是否正确地考虑了这个问题,如果有实时数据分析经验的人可以分享他们的经验,那将会非常有帮助。

1 个答案:

答案 0 :(得分:-1)

不明白为什么您需要数百万次查询来更新您的事实数据。每个表的一个简单的'incremental-id'可以告诉OLAP系统每次需要刷新数据时需要加载哪些行。

也许您可以查看允许接近icCube分析的real-time;由于多维数据集不会缓存任何聚合,因此每次加载新数据时,都可以进行查询。