快速CSV阅读器

时间:2012-07-24 05:51:24

标签: c#

我正在开发一个项目,它实际上从CSV文件加载数据,处理它然后将其保存在磁盘上。为了快速阅读CSV数据,我使用的是Lumenworks CSV阅读器http://www.codeproject.com/Articles/9258/A-Fast-CSV-Reader。这工作正常,直到一个限制,但当我有一个大小为1GB或更多的CSV时,需要时间。还有其他方法可以更快地读取CSV吗?

1 个答案:

答案 0 :(得分:1)

提供的信息不多......所以假设这是IO限制,您的选择是:

  1. 获得更快的存储空间[例如SSD,RAID]。
  2. 尝试压缩 - 有时压缩所花费的时间[例如Zip]会在IO中保存多个。
  3. 尝试线程 - 在进行计算难度计算时特别有用 - 但在这种情况下可能不合适。
  4. 更改问题 - 您是否需要读取/写入1GB文件?也许你可以改变数据格式[156比“156”小很多,也许你只需要处理较小的块,也许老实说无所谓等。
  5. 还有其他人吗?

    嗯,你可以尝试缓存输出,我已经尝试过MemoryMappedFiles& RAM驱动......你可以通过一些简单的线程来实现......虽然这可能会更快地返回,但它具有巨大的风险和复杂性