如何处理ssis中的数据失败案例

Question

嗨我对ssis有一点怀疑  我想将load source excel文件数据加载到sql server数据库表中。 源excel文件有数十亿的数据（巨大的数据）。 由于某些数据格式不正确，因此加载时间halfoffrecords被加载到目标表中。 在这个sistuvation中，如何处理使用ssis将所有数据加载到目的地的包。

来源：excel（Emp信息数据） destination：表：emp 我尝试使用检查点配置在故障点重新运行。 但它没有用处理数据行级别和重复数据正在加载。 我尝试了另一种方法截断目标表中的数据。 之后，我使用重定向行进行错误处理。但由于它的实现不好 trunating目的地表。 请告诉我在ssis包级别中有多少方法可以完成此任务（完全加载）。

Answer 1

将您的数据从Excel加载到临时表中，在每次加载之前将其截断。

创建临时表nvarchar(max)类型的所有列，以便它们可以处理任何格式的传入字符数据。

然后运行一个存储过程，对数据进行重复数据删除，格式化并将数据传输到最终目标表。