我有一个SSIS包,可以在一个有5列的模式上进行ETL。每个列都需要转换为适当的数据类型。
我最初在单个数据流转换任务中完成所有操作,这使得很难从错误输出中找出失败的投射。
我后来决定为每一列连续使用单独的数据流转换任务。
我想知道哪种方法会给我带来更好的表现?
我从平面文件中获取所有数据(管道分隔)
答案 0 :(得分:3)
这实际上取决于您处理的数据量。
您转换的数据类型是什么?
在ETL过程的哪个阶段,您需要转换数据吗?
最快的方法可能是在源头投射它们(如果可能的话)。如果转换是在同一服务器上的数据库与数据库之间进行,那么在数据库级别进行转换也是一种选择。
您需要进行一些测试,以确定哪种方法最适合您的过程。