我正在尝试将大量数据插入SQL Server数据库,而我的问题是,当要在其中插入数百万个条目时,我应该保存多少次。例如,保存后是否有效? 10.000插入还是1.000.000插入之后?有任何入门价值吗?
我正在使用-print-statistics
用数据填充服务器,所以我正在使用C# Entity Framework
类来处理CRUD和保存。
答案 0 :(得分:3)
我正在使用C#实体框架用数据填充服务器
您的问题从这里开始。不适合这样做。错误的工具。我喜欢Entity Frameowrk,但这是一个ORM,而不是批量加载工具。
我通常使用SqlBulkLoader类将最多65k条记录加载到一个临时表中(以秒为单位,但是要注意,您几乎必须使用一个临时表),我通过一个命令/事务将其复制到最终表中。
全速处理4-5个线程。
实体框架将花费数小时才能完成一百万行,无论您如何转动它。只是错误的工具。