Question

是否有一种高性能的方法可以将非常大的CSV文件（大小为几千兆字节）加载到带有.NET的SQL-Server 2008数据库中？

Answer 1

我会将this CSV reader与SqlBulkCopy合并;即。

using (var file = new StreamReader(path))
using (var csv = new CsvReader(file, true)) // true = has header row
using (var bcp = new SqlBulkCopy(connection)) {
    bcp.DestinationTableName = "TableName";
    bcp.WriteToServer(csv);
}

这使用批量复制API来执行插入，同时使用完全托管（和快速）IDataReader实现（关键是，流数据，而不是加载它一下子。）

Answer 2

使用SQLBulkCopy类。

Answer 3

使用SqlBulkCopy http://msdn.microsoft.com/en-us/library/system.data.sqlclient.sqlbulkcopy.aspx

将非常大的CSV文件加载到SQL-Server数据库中

3 个答案: