使用.net将大量数据导入SQL

Question

我有4个大型XML文件，需要每月映射一次并导入SQL数据库。

我正在使用c＃和控制台应用程序来执行此操作。我的第一种方法是实体框架，对于我拥有的65000条记录来说真的很慢。

数据反序列化没有问题我的主要问题是在合理的时间内以单元可测试的方式添加和更新数据。

感谢。

Answer 1

您可以处理XML文件parallel。

Answer 2

SqlBulkCopy类包含用于批量插入多行的良好工具。如果这仍然太慢，您可以通过分块数据并与Parallel.ForEach并行运行多个批量副本来获得一些好处。

为了进行测试，我建议让测试创建一个临时的SqlExpress数据库并将代码指向该数据库。