删除SSIS数据流中的重复项

Question

我正在处理SSIS数据流任务。

源表来自旧数据库，它是非规范化的。

目标表已规范化。

SSIS失败，因为由于重复（主键列中的重复项）而无法进行数据传输。

如果SSIS可以检查目标是否有当前记录（通过检查密钥），如果它存在，那么它可以忽略推送它。然后它可以继续下一条记录。

有没有办法处理这种情况？

Answer 1

假设您的目标表是源表的子集，您应该能够使用Sort Transformation仅提取目标表所需的列，然后选中“删除具有重复排序的行”值“基本上根据您选择的列为您提供不同的记录列表。

然后，只需将排序结果路由到您的目的地，您就应该好了。