SSIS数据验证和清理

Question

我需要这样做

客户端将数据放入FTP文件夹（数据可以是这3种格式 - .txt，.csv或.xls），SSIS包需要从ftp中提取数据并检查数据文件的格式是否正确，如姓氏不是空，手机是10位数，邮政编码是5位数，地址不超过20个字符长度等等） 检查数据文件后，如果一切正常，它应该在dev中加载文件。数据库，如果不是我需要运行一些清洁quires（如拉取前5位数等）和加载数据，如果缺少某些列，它需要向客户端发送电子邮件询问不同的数据文件

到目前为止，我通过手动导入文件和运行大量sql查询来完成此任务，这非常耗时。我的经理让我写SSIS包来自动完成这个过程

我在SSIS中相当新，有人可以给我SSIS包设计理念（我的意思是使用哪个序列等任务）所以我可以尝试学习 谢谢你的帮助

Answer 1

以下是一些建议：

配置任务以将错误数据导致的错误发送到单独的文件。这将确定问题行，同时让好东西继续下去。您还可以使用条件拆分来重定向具有错误数据的行，例如空行。

派生列转换可以方便地修剪，格式化，切片和切块数据。

如果给定条件为真，请使用事件处理程序发送电子邮件。

使用日志记录功能。非常有助于整理你睡觉时侧身的东西。