提高将数据上传到数据库的性能

时间:2016-03-19 16:48:15

标签: c# sql .net sql-server

我有一个c#应用程序。运行时,它会计算大约50,000到100,000个值。然后我将这些值存储到sql server数据库中。下面的代码工作正常,但是将数据上传到数据库需要很长时间。我想知道我能做些什么来提高性能?目前需要一分钟。

我的Sql表如下所示。我是否应该在这里使用主键,因为我想在插入数据时必须花费额外的处理时间?

 tblResultEquityCurve

 DTime (smalldatetime) - primary key
 Equity numeric(18,4)

C#代码

void exEquityCurveMT()
        {
            DeletePreviousResultsFromTable("Result_EquityCurve");

            Spliter[] split = MTSplitter(Account.EquityHistory.Count);
            MultiThreadToDataBase[] mtDB = new MultiThreadToDataBase[NUMCORES];

            Task[] taskDB = new Task[NUMCORES];
            for (int i = 0; i < taskDB.Length; i++)
            {
                List<structEquity> eqyList = Account.EquityHistory.GetRange((int)split[i].rowStart, split[i].numRows);
                mtDB[i] = new MultiThreadToDataBase();
                taskDB[i] = Task.Factory.StartNew(mtDB[i].exEquityCurve, eqyList);
            }
            try
            {
                Task.WaitAll(taskDB);
            }
            catch (AggregateException ex)
            {
                ExceptionDispatchInfo.Capture(ex.InnerException).Throw();
            }

        }




public void exEquityCurve(object dataObj)
        {
            List<structEquity> dataList = (List<structEquity>)dataObj;

            using (connection = new SqlConnection(connectionString))
            {
                connection.Open();

                using (SqlCommand commandEquity = new SqlCommand("dbo.InsertEquityCurve", connection))
                {
                    commandEquity.CommandType = System.Data.CommandType.StoredProcedure;
                    commandEquity.Parameters.Add("@dtTime", System.Data.SqlDbType.SmallDateTime);
                    commandEquity.Parameters.Add("@Equity", System.Data.SqlDbType.Float);

                    for (int i = 0; i < dataList.Count; i++)
                    {
                        commandEquity.Parameters["@dtTime"].Value = dataList[i].dTime;
                        commandEquity.Parameters["@Equity"].Value = dataList[i].Equity;
                        commandEquity.ExecuteNonQuery();
                    }                                
                }

                connection.Close();
            }
        }

1 个答案:

答案 0 :(得分:5)

从循环调用DB存储过程不是一个好习惯。根据{{​​3}}的建议使用SqlBulkCopy,或创建另一个通过用户定义的表类型接受表值参数的存储过程,请参阅Jamez。 MSSQL中的用户定义类型已知可维护性问题,因此您可以使用XML,尽管它确实使您的sproc合同和签名更少声明。 无论哪种方式,目标都是将一个异步调用中的所有数据传递给数据库。