提高DataTable的性能以导出.CSV

时间:2013-05-16 17:54:39

标签: c# asp.net sql datatable export-to-excel

我的代码导出.CVS的时间太长,我们谈的是几分钟。查询需要几秒钟才能在SQL中执行。

这就是我现在填充DT:

    using (SqlConnection myConnection = new SqlConnection(connString))
    {
        using (SqlCommand myCommand = new SqlCommand(sqlString, myConnectionString))
        {
            myCommand.Parameters.AddWithValue("@DATE1", Date1);
            myCommand.Parameters.AddWithValue("@DATE2", Date2);
            myCommand.CommandTimeout = 0;
            myConnection.Open();
            using (SqlDataReader myReader = myCommand.ExecuteReader())
            {
                DataTable myTable = new DataTable();
                myTable.Load(myReader);
                return myTable;
            }
        }
    }

这就是我用来创建.CVS文件的内容:

protected void ExportToCSV(object sender, EventArgs e)
{
    DataTable dt = ContactProvider.GetDataTable(Date1, Date2);
    DataRow row;
    foreach (System.Data.DataColumn col in dt.Columns) col.ReadOnly = false;
    //I use this to change the value of the columns, because EXCEL changes the string to a date -.-
    for (int i = 0; i < dt.Rows.Count; i++)
    {
        row = dt.Rows[i];            
        if (dt.Rows[i][5].ToString() == "MAR2")
        {
            row[5] = "=\"MAR2\"";
        }
        if (dt.Rows[i][5].ToString() == "MAR1")
        {
            row[5] = "=\"MAR1\"";
        }
    }
    Response.Clear();
    Response.Buffer = true;
    Response.AddHeader("content-disposition","attachment;filename=Report.csv");
    Response.Charset = "";
    Response.ContentType = "application/text";
    StringBuilder sb = new StringBuilder();
    for (int k = 0; k < dt.Columns.Count; k++)
    {
        sb.Append(dt.Columns[k].ColumnName + ',');
    }
    sb.Append("\r\n");
    for (int i = 0; i < dt.Rows.Count; i++)
    {
        for (int k = 0; k < dt.Columns.Count; k++)
        {
            sb.Append(dt.Rows[i][k].ToString().Replace(",", ";") + ',');
        }
        sb.Append("\r\n");
    }
    Response.Charset = "";
    Response.Cache.SetCacheability(HttpCacheability.NoCache);
    Response.ContentType = "application/vnd.xls";
    Response.Charset = "UTF-8";
    Response.ContentEncoding = System.Text.Encoding.Unicode;
    Response.Output.Write(sb.ToString());
    Response.Flush();
    Response.End();
}

有没有办法可以提高这些方法的性能,以便我可以填充DT并尽可能快地导出.CVS?

感谢您的帮助,我真的需要改进这件事!

2 个答案:

答案 0 :(得分:0)

我可以建议优化(并且不知道数据库提取速度的其余部分),直接写入输出流。

不要使用缓冲区和StringBuilder首先在内存上创建然后编写它,但是直接将它们发送到客户端:

Response.Cache.SetCacheability(HttpCacheability.NoCache);
Response.ContentType = "application/vnd.xls";
Response.Charset = "UTF-8";
Response.ContentEncoding = System.Text.Encoding.Unicode;
// important !, send them as you make them.
Response.Buffer = false;   

for (int k = 0; k < dt.Columns.Count; k++)
{
    Response.Output.Write(dt.Columns[k].ColumnName);
    Response.Output.Write(',');
}
Response.Output.Write("\r\n");
for (int i = 0; i < dt.Rows.Count; i++)
{
    for (int k = 0; k < dt.Columns.Count; k++)
    {
        Response.Output.Write(dt.Rows[i][k].ToString().Replace(",", ";"));
        Response.Output.Write(',');
    }
    Response.Output.Write("\r\n");
}

这样可以避免在服务器端占用大量内存,将一个字符串与另一个字符串连接起来的处理速度很快,用户/程序在创建它们时会看到结果,而不是等到第一次创建它,然后发送它们。

不要使用aspx页面,错误处理程序发送它们。

答案 1 :(得分:0)

如果您将第一个for循环移开,并将if从那里移动到最后一个for循环,您将看到一些改进。也;将if设为'if,else if',以减少每次迭代必须评估的ifs数。

我无法真正理解用分号替换逗号的必要性 - 我认为如果用引号将每个单元格包装起来会更好:

for(...)
    if (...)
    else if (...)
    else
        sb.AppendFormat("\"{0}\",", dt.Rows[i][k].ToString());   
}
//remove trailing comma:
sb.length--
//Append linebreak:
sb.AppendLine();