Question

我在syabse数据库中进行批量插入，方法是将插入查询分组并批量发送到数据库，批量大小可配置，代码看起来有点像这样

public static void InsertModelValueInBulk(DataSet modelValueData, int clsaId)
    {
        int batchSize = Convert.ToInt32(ConfigurationManager.AppSettings["BatchSize"].ToString());            
        IList<string> queryBuffer = new List<string>();    
        using (var connection = GetAseConnection())
        {
            connection.Open();
            var tran = connection.BeginTransaction();
            try
            {                  
                for (int i = 0; i < modelValueData.Tables[0].Rows.Count; i++)
                {

                    var insertItem = string.Format(@"select '{0}',{1},{2},{3},'{4}','{5}','{6}',{7}", row["ModelValueID"], Convert.ToInt32(row["StockModelID"]), Convert.ToInt32(row["ModelItemID"]),
                                                                      fyeStr, row["Period"], value, row["UpdatedUser"], clsaId);
                    queryBuffer.Add(insertItem);
                    if (queryBuffer.Count % (batchSize) == 0 && queryBuffer.Count > 0)
                    {
                        var finalQuery = @"INSERT INTO InsertTable (ModelValueID, StockModelID, ModelItemID, FYE, Period, Value, UpdatedUser,id) 
         " + String.Join(" union ", queryBuffer.ToArray<string>());                         

                        using (var cmd = new AseCommand(finalQuery, connection, tran))
                        {                                    
                                cmd.ExecuteNonQuery();                              
                        }
                        queryBuffer.Clear();
                    }                      
                }                   
                tran.Commit();
            }
            catch
            {
                tran.Rollback();
                throw;
            }
            finally
            {
                tran.Dispose();
            }
        }
    }

使用此方法观察批量大小与插入20000所需时间的性能形成J曲线，样本数据有点像

批量大小10 =＆gt;当批量大小为50 =>时，操作在30秒内完成。 20秒，100 => 10秒，200 => 20秒，500 30秒，1000 => 1分钟。

想了解这条J曲线背后的原因是什么。它与app服务器内存或某些数据库服务器设置或其他东西有关吗？是什么让100最佳，可以进一步调整？

Answer 1

BULK insert会在批量大小的持续时间内锁定表。锁有一个基本的开销，所以小批量几乎不会受益，但是让批次之间的表发生其他操作。

如此规模较大的批次是好的。因为它是一个事务，所以在当前批处理完成之前不会提交数据。这意味着写入日志文件。实际上，大批量将导致日志增长，这是IO密集型的，它还会增加争用，因为更多的日志将被使用。

这些方面的东西。

编辑：另外两件事 1）使用参数化输入 2）如果你不做＃1，“联合”会导致明显的。使用“union all”

Answer 2

我看到你们现有代码的问题很多......例如..在你们的提交中我不会认为Commits会永远成功..

我会将所有可能导致失败或爆炸的代码包装在try catch Commits，Rollbacks cmd.Execute
我会查看我的Select语句，我个人会创建一个存储过程，如果你不能这样做，我会把select字符串变为const。
我会亲自为我的交易命名..但这取决于你
在每次方法调用期间，此行都有可能发生变化..

int batchSize = Convert.ToInt32（ConfigurationManager.AppSettings [“BatchSize”]。ToString（））;
如果不是，我会把它变为静态调用，而不是每次进入方法时都调用它
尝试重构你的代码..它开始看起来有点混乱......

批量大小如何影响批量插入性能？

2 个答案: