数据集的完整负载策略是否有任何缺点......?

时间:2016-03-17 15:47:38

标签: etl datamart

......除了对性能的影响?

在我们的情况下,数据量将是可监督的,复杂性可能不会。

背景:
我经历过一个项目,每天都有数据集满载。 这简化了ETL,因为不需要进行增量处理。出于同样的原因,性能也是可以接受的。但是我不确定这种情况是否总是可用的,如果存在缺点,例如当最终用户告诉我们数据是“错误的”时从那以后4天 - 很难追溯到那一天。

感谢您的输入

1 个答案:

答案 0 :(得分:1)

根据业务需求,这是一个完全可以接受的策略。

您将失去的一件事是能够展示缓慢变化的尺寸的历史。如果这对您的业务不重要,请不要担心。

Ajilius,我们有一位高级时装行业的客户每小时重新加载他们的数据仓库。这是因为需要显示其产品计划周期的近实时可视化,这是季节性的,任何数据都可以随时改变,并且没有长期历史要求。

更常见的情况是源DBMS中没有更改数据捕获功能。在这种情况下,您经常会看到完整的事实和维度。事实不太可能 - 你通常有一个日期或时间戳来管理摘录 - 但是经常会发生全尺寸重新加载。