SSIS数据验证和数据加载

Question

我需要从下面列出的选项中获得最佳方法的建议。我需要验证excel文件数据并将其加载到SQL Server

验证包括

• 非重复列
• 出现Mandatoty字段
• 数据库中不存在的字段

如果出现错误，我会写入数据库

中的错误日志表

以下是我的方法

• 将数据加载到数据库中的临时表
• 运行验证
• 记录错误
• 成功加载到主表

如果您对此方案有任何其他更好的想法，请告诉我

Answer 1

以下是几种可能的方法：

1. 使用SSIS

  

创建excel连接管理器然后使用带有OLEDB Source的数据流任务，查找转换（以消除不需要的记录），OLEDB目标   直接进入主表。

  

您还可以选择重定向或忽略不满足转换的行。

（如果excel非常大而不是处理RBAR，则可以使用批量插入任务）

2.使用TS​​QL

  

   BULK INSERT或BCP或使用OPENROWSET进入临时表。请注意，您需要安装适当的驱动程序（JET for x32或ACE for x64 SQL Server）。

   

然后通过在加载到主表之前登录到错误表（raiseerror，try-catch）来进行错误处理。