使用SSIS插入记录而不插入预先存在的记录

Question

我有一个2.9亿的源数据集，我每天每天下载1200万条记录，其中包含前几天下载的数据。我无法将每日记录插入到源中并排除我已有的记录。一些新的记录可能不是前一天他们可能会在几天前回来，所以日期限制不会起作用。请帮忙。

Answer 1

我刚刚在你的SSIS数据流中有这个完全相同的问题，你需要添加一个Lookup。根据PK，它与您插入新数据的数据相匹配。然后你可以从这里分离数据，选择Redirect Rows到no match output。这将使绿色箭头包含所有不存在的数据。

Answer 2

Lookup component using a key field and with the no match output, do an insert (you could also with the match output do an update; though 290million rows IS going to take A WHILE)...