.Net解析固定宽度数据...来自连续的单一固定宽度列

时间:2016-08-05 17:29:00

标签: sql .net etl

我很无聊,看着在寒冷的日子里像糖蜜一样运行的旧代码。我发现我们的会计系统中有一组表 - 每个表有500,000条~20个数据点的记录 - 它们使用一列连接的固定宽度值而不是单独的列。 (修复表格不是一个选项。)旧的.net ETL项目正在抓取所有记录,在每条记录上做一堆子串以设置对象的相应属性,然后发送要合并的对象生产数据通过存储过程。

它的工作方式很好。有用。而且,说实话,我怀疑即使我想出一个更好的解决方案,我也会得到批准,但是我很想知道是否有人知道更好的方法这样做,因为我将来不会面临这样的情况。

我在想如果有一种方法可以使用TextFieldParser来解析静态字符串而不是可能是有效想法的文件/流。或者,我可以将整个表写入文本文件,然后使用TextFieldParser将数据发送到SProc。 http://www.dotnetperls.com/textfieldparser确实表明TextFieldParser比split更快一些,我认为这相当于我们的项目目前使用子字符串进行的字符串操作。所以可能有一些想法。

也许整个旧项目应该被抛弃,以获得一个闪亮的新SSIS项目。是否还必须在导入SQL之前将记录写入平面文件?或者它可以直接从表中导入吗?

提前谢谢!

0 个答案:

没有答案