ssis通过查找到空目标来删除副本

Question

我需要使用SSIS ETL从源表填充空目标表。

我需要删除重复记录，然后将其发送到目的地。 我不想使用“排序”，因为这需要时间。

谢谢

Answer 1

将oledb源从Table更改为SQLCOMMAND，如果整个记录重复，则在sql查询中使用DISTINCT选项。 EX：

SELECT DISTINCT * FROM Table1

如果复制在特定列中，请使用THE ROW_NUMBER（）函数。例如：

SELECT * FROM (
SELECT ROW_NUMBER() OVER (PARTITION BY Col1,Col2 ORDER BY Col1,Col2) AS [ROWNUMBER],* FROM Table1) AS T1
WHERE T1.ROWNUMBER = 1