Question

我在列表中有大约一百万条记录。并且在列表中我查询数据库以获取基于id的修改日期。一旦我得到它，它在条件下测试插入或更新它..但有没有任何方法可以批量（一次或分批）插入或更新.. ??

foreach (No_kemi no_list in newforSQL)
{
    DateTime eModifiedDate = no_list.ModifiedDate.Value;
    string Id = no_list.ID.ToString();

    String selectQuery = "SELECT ModifiedDate FROM NO_table WHERE ID = '" + Id + "'";
    DateTime? dbmoddate = null;

    using (SqlCommand selectCommand = new SqlCommand(selectQuery, connection))
    {
        // Use the above SqlCommand object to create a SqlDataReader object.
        using (SqlDataReader rdr = selectCommand.ExecuteReader())
        {
            while (rdr.Read())
            {
                dbmoddate = (DateTime)rdr["ModifiedDate"];
            }
        }
    }

    string eType = null;
    string SubGUID = null;
    string trimSubKey = no_list.SubscriberKey;

    try
    {
        if ((trimSubKey.Length > 3) && (trimSubKey != ""))
        {
            if (trimSubKey.Contains(","))
            {
                string[] values = trimSubKey.Split(',');

                SubGUID = values[0];
                eType = values[1];
            }
            else 
            { 
                SubGUID = trimSubKey; 
                eType = ""; 
            }
        }
        else 
        { 
             SubGUID = ""; 
             eType = ""; 
        }
    }
    catch (Exception ex)
    {
        logger.Error("Error : " + ex.Message );
    }

    if (dbmoddate == null)
    {
        DateTime no_listinsetdate = DateTime.Now;
        String insertQuery = "INSERT INTO NO_table (CreatedDate, ModifiedDate, ID, eType, SubGUID, DbDate) VALUES (@CreatedDate, @ModifiedDate, @ID, @eType, @SubGUID, @DbDate,)";

        using (SqlCommand insertCommand = new SqlCommand(insertQuery, connection))
        {
             insertCommand.Parameters.AddWithValue("@CreatedDate", no_list.CreatedDate);
             insertCommand.Parameters.AddWithValue("@ModifiedDate", no_list.ModifiedDate);
             insertCommand.Parameters.AddWithValue("@ID", no_list.ID);
             insertCommand.Parameters.AddWithValue("@eType", eType);
             insertCommand.Parameters.AddWithValue("@SubGUID", SubGUID);
             insertCommand.Parameters.AddWithValue("@DbDate", no_listinsetdate);

             insertCommand.ExecuteNonQuery(); // execute the query
         }
    }
    else if (eModifiedDate > dbmoddate)
    {
        DateTime no_listinsetdate = DateTime.Now;
        String updateQuery = "UPDATE  NO_table SET CreatedDate = @CreatedDate, ModifiedDate = @ModifiedDate, ID = @ID, eType = @eType, SubGUID = @SubGUID, DbDate = @DbDate WHERE ID = '" + Id + "'";

        using (SqlCommand updateCommand = new SqlCommand(updateQuery, connection))
        {
            updateCommand.Parameters.AddWithValue("@CreatedDate", no_list.CreatedDate);
            updateCommand.Parameters.AddWithValue("@ModifiedDate", no_list.ModifiedDate);
            updateCommand.Parameters.AddWithValue("@ID", no_list.ID);
            updateCommand.Parameters.AddWithValue("@eType", eType);
            updateCommand.Parameters.AddWithValue("@SubGUID", SubGUID);
            updateCommand.Parameters.AddWithValue("@DbDate", no_listinsetdate);

            updateCommand.ExecuteNonQuery(); // execute the query
        }
    }
}

任何加速这个过程的方法......完成操作需要很多时间......或者有一段时间我得到超时错误......

THX

Answer 1

这是广泛的方法，实际上有一个编码解决方案，但你应该能够根据一般建议自己创建一个：

如果您编写了一个执行此操作的SQL过程，您可能可以节省大量的网络往返。进一步优化将导致此SQL过程采用批记录而不是单个记录，因此您可以例如发送1000条记录，该过程将循环遍历它们，并且每个记录执行查询并生成更新/插入。这意味着结果不必在网络中来回传递，从而减少流量并缩短运行时间。

也许您的操作可以假定为单个MERGE命令而不是查询和更新/插入。这取决于您的表结构，数据和意图。

谷歌的条款：stored procedure，table type，MERGE。

批量插入SQL Server 2012数据库 - C＃

1 个答案: