在将数据从文本文件传输到excel时检查重复行

Question

平台：SSIS

我是SSIS的新手，在将数据从文本文件传输到excel文件时尝试检查重复的行。听说过缓存转换可以使用，但我不是很确定。有什么建议？

Answer 1

处理此问题的一种简单方法是在源和目标之间使用聚合转换。在其中，按源中的所有列进行分组以消除重复。我使用过这种技术，效果很好。

如果源很大，这可能会很慢。