Question

我正在处理大量数据，并使用CLR进行处理。 CLR处理工作很快，但我需要一种快速的方法将处理后的数据移动到数据库（通过CLR）。

例如，请参阅以下clr代码

protected static string Normalize(string s) // space and special character remover
    {
        char[] arr = s.ToCharArray();
        arr = Array.FindAll<char>(arr, (c => char.IsLetterOrDigit(c)));
        return new string(arr).ToLower();
    }

    [Microsoft.SqlServer.Server.SqlProcedure]
    public static void udpNormStr ()
    {
        SqlConnection con = new SqlConnection("context connection = true");
        SqlCommand cmd = new SqlCommand("Select cName from NamesTable", con);
        SqlDataAdapter da = new SqlDataAdapter(cmd);
        DataTable dt = new DataTable();
        DataTable fill = new DataTable();
        fill.Columns.Add("NormName", typeof(string));
        da.Fill(dt);
        cmd.CommandText = "insert into NormTable values (@nName)";
        cmd.Parameters.Add("@nName", SqlDbType.VarChar);
        foreach (DataRow row in dt.Rows)
        {
            fill.Rows.Add(Normalize(row[0].ToString()));
        }
        con.Open();
        foreach (DataRow row in fill.Rows)
        {
            cmd.Parameters["@nName"].Value = row[0];            
            cmd.ExecuteNonQuery();            
        }
        con.Close();
}

执行需要花费大量时间，并且在插入操作中浪费了90％的时间。请建议一种更好的方法将处理后的数据移动到数据库（通过CLR）。

Answer 1

SqlBulkCopy;由于您已经有DataTable，因此可以使用：

using (var bcp = new SqlBulkCopy(con))
{
    bcp.DestinationTableName = "NormTable";
    bcp.WriteToServer(dt);
}

请注意，对于流媒体数据，您还可以创建自定义IDataReader实施并将其提供给WriteToServer。

Answer 2

使用SqlTransaction包装您的连接以避免隐式事务。

con = new SqlConnection("context connection=true");
con.Open();
using (con)
{
    using (var sqlTrans = con.BeginTransaction()) //one transaction instead of many from each insert implicit
    {
        const string cmdText = @"INSERT INTO [table1] ([a],[b],[c],[d],[e]) VALUES (@a,@b,@c,@d,@e)";
        using (var cmd = new SqlCommand(cmdText, con, sqlTrans))
        {
            var aField = cmd.Parameters.Add("@a", SqlDbType.NVarChar, 255);
            var bField = cmd.Parameters.Add("@b", SqlDbType.Int);
            var cField = cmd.Parameters.Add("@c", SqlDbType.Bit);
            var dField = cmd.Parameters.Add("@d", SqlDbType.NVarChar, 255);
            var eField = cmd.Parameters.Add("@e", SqlDbType.Int);

            //same for all
            cField.Value = false;
            dField.Value = "d";
            eField.Value = 1;

            foreach (var someValue in valueCollection)
            {
                aField.Value = someValue.Key; 
                bField.Value = someValue.Value; 
                cmd.ExecuteNonQuery();
            }
        }
        sqlTrans.Commit();
    }
    con.Close();
}

Answer 3

尝试使用 SQLBulkCopy 类

这是一次性将DataTable插入数据库的示例方法

 public static bool SaveDetails(DataTable dbTable)
    {
        try
        {
            SqlConnection conn = new SqlConnection("Data Source=akshay;Initial Catalog=CosmosDB;User Id=sa;Password=Nttdata123");
            conn.Open();
            SqlBulkCopy sbc = new SqlBulkCopy(conn);


            if (dbTable.Rows.Count > 0)
            {
                sbc.DestinationTableName = "Employee";
                sbc.WriteToServer(dbTable);              


            }

            sbc.Close();
            conn.Close();


            return true;



        }
        catch (Exception exp)
        {

            return false;
        }

    }

Answer 4

如果这项工作是SQL / CLR，那么这很棘手。一个想法可能是使该方法仅返回数据，例如作为CLR Table-Valued Function，然后从表值函数中取回TSQL中的INSERT。

从C＃CLR快速插入

4 个答案: