如何处理500,000记录管道分隔文件？

Question

我们接收管道分隔文本文件中的文件，并且正在寻找一种有效的方法来解析文件以查找一致性错误。有一个模板，它规定了规则，即字段的长度，字段的数据类型，是否强制。所以我将针对该模板（目前只是一个word文档）检查管道分隔文件。

1. 如果没有PC冻结我如何解析文件？ （以块的形式阅读。流式读取器？）
2. 重要的是，您在哪里建议我存储“规则模板”？ in和XML文件或具有其他应用程序设置的sqlite数据库？

有关如何做到这一点的任何建议吗？

该工具必须位于Windows环境（VB.Net）

中

示例数据：

Company A|Company A ltd|3453457675|C565474567||UK|C3423454534|b3345|A|003||D3KCI3KF||0|001||+44-22523280||P.O.BOX 42027|P.O.BOX 42027|LIVERPOOL|UK|00100|L.R. NO. 209/5827, BY PASS ROAD|OFF BY PASS ROAD||UK|UK|PEOPLE SOFT|PEOPLE SOFT|PEOPLESOFT|2345435|S||B|34344444|45556666|Z|0|BP|0|3445345|0|2343545654|0|0|D|23434534534||0||453564645||1232434523|0|324345230000101|0|S

感谢。

Answer 1

SED - 是一个很棒的工具 - 它有Windows端口。相当PERL喜欢选项，但非常快速和强大 我必须处理休息交换日志，SED能够在几秒钟内完成处理。