SSIS做了两件与处理平面文件有关的事情,这些事情特别令人沮丧,似乎应该有办法绕过它们,但我无法弄明白。如果您定义一个包含10列的平面文件,使用CRLF作为行结束标记分隔的制表符,这将完美适用于每行中恰好有10列的文件。这两个痛苦的场景是:
如果有人在任何地方提供了第11列的文件,那么如果SSIS完全忽略它,那将是很好的,因为你没有定义它。它应该只读取你定义的10列,然后跳到行标记的末尾,但是相反的是将任何附加数据与第10列中的数据连接起来,然后将所有数据连接到第10列。真有点没用。我意识到这种情况发生是因为第10列的分隔符不是像所有其他分区一样的选项卡,而是CRLF,因此它只是抓取所有内容到CRLF,更换额外的选项卡,因为它这样做。在我看来,这并不聪明。
如果有人提供的文件只有9列,那就更糟了。它会暂时忽略它意外发现的CRLF,并用下一行开头的列填充任何缺少的列!不聪明在这里是轻描淡写。谁会想要发生这种情况?此时文件的其余部分是垃圾。
由于某种原因,文件宽度的变化似乎并不合理(当然,只有行的末尾的变化才能被处理(x更少或更多的列),但看起来这样处理不好,除非我遗漏了什么。
到目前为止,我们唯一的解决方案是将一行加载为一个巨型列(column0),然后使用脚本任务使用它找到的许多分隔符动态分割它。这很有效,除了它将行宽限制为4000个字符(一个unicode列的最大宽度)。如果您需要导入更宽的行(例如,使用多个4000宽的列进行文本导入),则需要如上所述定义多个列,但是您需要每行需要严格的列数。
有没有解决这些限制的方法?
答案 0 :(得分:12)
与SQL2000中的DTS不同,您无法在运行时更改SSIS包的属性。
您可以做的是创建一个父包,它读取平面文件(脚本任务),只读取平面文件的第一行以获取列数和列名。此信息可以存储在变量中。
然后,父包以编程方式加载子包(脚本任务),并更新子包的源连接的元数据。这是你要么的地方 1.添加/删除列以匹配平面文件。 2.设置列的列分隔符,最后一列必须是CRLF - 与ROW分隔符匹配 3.重新初始化Dataflow任务中Source Compoenent的元数据(ComponentMetadata.ReinitializeMetadata())(以识别源连接中的最近更改)。 4.保存子ssis包。
仅以编程方式修改程序包的详细信息仅供参考。
然后,您的父包只执行子包(执行包任务),它将使用您的新映射执行。