如何使用少量转换来消除重复

Question

我有一个场景，我应该从源中删除重复项并将它们加载到目标。但我不应该使用下面的

1）SQL覆盖

2）查找

3）聚合器

4）排名

5）Unix命令

6）Java

注意：来源有大量记录

请在这方面帮助我

谢谢和问候

拉​​吉

Answer 1

我认为实际上要求删除重复项而不缓存。我看到两种可能的解决方案：

• 使用“Distinct”源限定符属性或
将其下推到源数据库
• 使用Source Qualifier属性Number Of Sorted Ports对数据进行排序（记得按正确顺序放置端口），创建Expression Transformation，使用局部变量来比较当前与以前的密钥和输出标志，表示要删除的副本，后跟Filter Transformation，只允许非重复的行。