使用.net导入/导出大型数据集

Question

任何人都有使用.net。

导入和导出大型集合（在本例中来自数据库）的经验

使用数据库导出本身是不可能的，因为支持多个数据库后端，我需要这种方式来进行一种独立于平台的导出/导入。

这里的问题是XmlSerializer或DataContractSerializer类一次性读取数据以进行反序列化 - 但由于数据集可能变得非常大，这是不可行的。 是否存在基于现有序列化基础架构但支持迭代读取文件的解决方案？

由于

Answer 1

看看FileHelpers。我以前使用过该库，它在几秒钟内读取并验证了（通过附加到我的导入类成员的属性）大约25k条记录。