如何将数据从fixedwidth文件加载到SQLServer,这里的主要概念是非常仔细地处理数据

时间:2014-01-04 02:38:56

标签: ssis

我想将固定宽度的平面文件数据加载到SQL Server中,但这里的主要任务是数据非常关键。

  1. 数据应逐行加载,每行都有一定的规格,如第1行属于1个标题详细信息,第2行属于此类详细信息的另一部分。

  2. 最后,最关键的一点是,在我的文件中,我有一些数据部分来自不同的分段和不同的分隔符,如何在单个文件中处理这些不同的分隔符以及如何从中加载数据这个文件到SQL Server。

  3. 请在此提出您宝贵的建议,并提前致谢

1 个答案:

答案 0 :(得分:1)

哇,听起来你的文件布局很乱。这有两个选择。

1 - 将数据作为文本块加载到SSIS缓冲区中。编写自定义转换来修复混乱。甚至可能涉及C#脚本。多次传递数据?

将格式化数据输出到目标SQL服务器。

这称为ETL - 提取,翻译,加载。

2 - 将数据作为文本blob直接加载到SQL Server到临时表中。在TSQL中将转换写为存储过程。从SSIS开始存储过程以修复混乱。

这称为ELT - 提取,加载,翻译。

同样,你对这个问题非常模糊。我只能建议设计模式。