内存中的SSIS查询表

时间:2015-11-30 14:02:52

标签: ssis ssis-2012

我创建了一个ETL,它从我们的仓库中提取数据,并将这些数据放入一个平面文件中,然后运行到另一个仓库。 ETL对数据进行分级并将其推送到三个表中。数据量非常大。表大小在第一个表中大约有8000个记录,在第二个表中有150 000个记录,在第三个表中有350 000个记录。

表的关系,我们将它们称为表1,表2和表3,表2和表3的引用在表1中进行,其中表1和表之间存在一对多的关系2和表1和表3.

平面文件的布局必须如下

表1记录1

表2记录1

表2记录2

表3记录1

表3记录2

表1记录2

表2记录3

表2记录4

表3记录3

表3记录4

我不确定如何在集成服务中执行此操作而不会使数据库达到24000次(使用从表1开始的foreach循环,然后检索表2和表3中引用的值并将这些值写入平面文件)。我几乎需要的是一个记录集,我可以查询并将表1,2和3的数据存储在内存中并查询它。任何人都可以指出我正确的方向。

提前致谢!

0 个答案:

没有答案