SSIS中增量负载的最佳方法是什么

Question

我正在尝试从Source表向mrr/src表创建增量加载，在Source表中，我有created日期和'modified'日期。

添加新记录：

有两种方法可以执行增量操作，我想知道哪种方法更好：

1. 在Source表和mrr / src表之间合并联接任务（左联接），并获取mrr / src表中不存在的所有记录。

2. 保存上一个上载日期并获取所有新记录，这些记录的“创建”日期都比上一个上载日期高。

我个人选择了第二个选项，但是从性能上来说，第一个选项是否更可取？

更新现有记录：

同样有两个选择：

1. 使用条件拆分任务，并对源表和mrr / src表中的字段进行所有比较。

2. 使用“源”表中的“修改日期”并将其与上次上传日期进行比较， 为了知道自上次检查Source表以来已更新了哪些记录。

是否有首选选项，我是否缺少选项？

Answer 1

添加新记录： 我更喜欢＃2（假设创建的日期将始终高于上次插入的日期）。对于源表将大大增长的情况，选项＃2也更好。 与选项＃1相反，表的执行时间会比较快，表越大，比较所有数据所花费的时间就越多。

更新现有记录： 选项＃2，但是再次假设，更改字段时，修改日期总是会更改。 加快更新性能的提示。而不是动态更新记录。只需将记录保存在临时物理表中，然后在SSIS包中执行下一步即可发出SQL脚本，以将该临时表用作更新主最终表的参考。这比在数据流上使用SQL Task更快。该任务将每行发布一条更新语句。