Question

我有一个非常大的表，在c＃datatable中有大约1,000,000行数据，我想将它上传到mysql db表中。最好和最快的方法是什么？

循环遍历行并一次上传一行看起来非常糟糕，并且有时会抛出超时异常。

我知道其中一个解决方案是将其写入文件并使用mysqlbulkloader从文件中读取。有没有其他方法可以直接从数据表到数据库完成？

Answer 1

使用StringBuilder构建SQL查询的形式存在非通用解决方案。我已经为MSSQL 2008使用了这样的解决方案，因此它可能对您有用。

string _insertQuery(IEnumerable<Item> datatable) { 
  sb.Append("INSERT INTO table (coltext, colnum, coltextmore) VALUES "); 
  foreach (var i in datatable) { 
    sb.AppendFormat("('{0}', {1}, '{2}'),", 
      new object[] { i.ColText, i.ColNum, i.ColTextMore }); 
  }
  sb.Remove(sb.Length - 1, 1);
  return sb.ToString();  
}

您（可能）需要一种方法来浏览1,000,000行：

var lst = new List<Item>(); 

// ...

for (int i = 0; i < datatable.Count; i += 1000) { 
  _insertQuery(lst.RangeOf(i, 1000); 
}

RangeOf()是我通过列表编写的IList扩展名：

public static IList<T> RangeOf<T>(this IList<T> src, int start, int length) { 
  var result = new List<T>(); 
  for (int i = start; i < start + length; i++) { 
    result.Add(src[i]); 
  }
  return result; 
}

c＃mysql将大数据表上传到mysql db表的最佳方法

1 个答案: