在没有数据仓库的情况下获取处理数据的解决方法

Question

在我的组织中，我们没有数据仓库或任何用于数据处理的中间数据存储。

我需要在过去5年中每天提取数据。 因此，为了实现这一点，我运行将结果插入到表中的复杂存储过程，然后我编写查询以连接该数据并获得最终输出。 然后我截断这些表并再次启动该过程。

以下是该过程的图形表示：

数据量正在增长。要运行这些存储过程，需要越来越多的资源。

这个问题的最佳解决方案是什么？ 我有SSIS工具可用。

Answer 1

如果您只是每天提取数据，那么每天只获取增量并将其添加到表1，表2，表3等。没有理由继续每天继续加载未更改的数据。