最好的阅读方式处理文本文件

Question

想知道是否有人有任何喜欢的方法/有用的库来处理制表符分隔的文本文件？这个文件平均有30,000 - 50,000行。只需要读取每一行并将其扔入数据库。但是，我需要临时存储所有数据，原因是如果持有数据的表超过1,000,00行，我需要创建一个新表并将数据放在那里。代码将在Windows服务中运行，所以我不担心处理时间。

在考虑做标准时（sr.ReadLine（））......有什么建议吗？

干杯，

肖恩。

Answer 1

filehelpers

Answer 2

This library非常灵活和快速。我从不厌倦推荐它。默认为'，'作为分隔符，但您可以轻松地将其更改为'\ t'。

Answer 3

我怀疑“将其丢入数据库”将比将行读入缓冲区至少花费一个数量级，因此您可以预先扫描数据以计算行数（不解析它们）。然后做出数据库决策。然后重新读取做实际工作的数据。幸运的是，操作系统将缓存该文件，以便更快地读取。