平面文件源的最佳性能:具有多列的单数据转换任务VS每列的多个数据转换任务

时间:2016-03-22 11:31:53

标签: sql ssis

我有一个SSIS包,可以在一个有5列的模式上进行ETL。每个列都需要转换为适当的数据类型。

我最初在单个数据流转换任务中完成所有操作,这使得很难从错误输出中找出失败的投射。

我后来决定为每一列连续使用单独的数据流转换任务。

我想知道哪种方法会给我带来更好的表现?

我从平面文件中获取所有数据(管道分隔)

1 个答案:

答案 0 :(得分:3)

这实际上取决于您处理的数据量。
您转换的数据类型是什么?
在ETL过程的哪个阶段,您需要转换数据吗?
最快的方法可能是在源头投射它们(如果可能的话)。如果转换是在同一服务器上的数据库与数据库之间进行,那么在数据库级别进行转换也是一种选择。
您需要进行一些测试,以确定哪种方法最适合您的过程。