Question

我有一些带有一些记录的DataTable。我想将所有这些记录插入远程数据库。最简单的方法是什么？我读到大多数人遍历DataTable的行并按记录插入记录。我想只与远程服务器建立1个连接并进行批量插入。可能吗？我正在使用C＃和MySQL。

Answer 1

尽管Kemal Taskin的答案是一个优雅的解决方案，但是使用大型DataTable的表现却很糟糕我尝试使用37500记录插件，耗时超过15分钟它似乎一次插入一条记录我发现如果我生成一个MySQL插入语句字符串，其中包含1000条记录并循环遍历数据直到完成，我将插入时间减少到6秒。它不是BULK LOADING，它的CHUNK LOADING。如果有人能提出更好的解决方案，请告诉我。

    public void writeToDBTable(DataTable dt)     
    {

        MySqlConnection conn = new MySqlConnection(globalClass.connString);
        conn.Open();
        String sql = null;
        String sqlStart = "insert into MyTable (run_id, model_id, start_frame,water_year, state_id, obligateCover, DTWoodyCover, perennialGrowth, clonalCover) values ";

        Console.WriteLine("Write to DB - Start. Records to insert  = {0}", dt.Rows.Count);
        int x = 0;            

        foreach (DataRow row in dt.Rows)
        {
            x += 1;
                if (x == 1)
                {
                    sql = String.Format(@"({0},{1},{2},{3},{4},{5},{6},{7},{8})",
                                          row["runId"],
                                          row["modelId"],
                                          row["startFrame"],
                                          row["waterYear"],
                                          row["currentFrame"],
                                          row["obligateCover"],
                                          row["DTWoodyCover"],
                                          row["perennialGrowth"],
                                          row["clonalCover"]
                                          );
                }
                else
                {
                    sql = String.Format(sql + @",({0},{1},{2},{3},{4},{5},{6},{7},{8})",
                                          row["runId"],
                                          row["modelId"],
                                          row["startFrame"],
                                          row["waterYear"],
                                          row["currentFrame"],
                                          row["obligateCover"],
                                          row["DTWoodyCover"],
                                          row["perennialGrowth"],
                                          row["clonalCover"]
                                          );

                }

                if (x == 1000)
                {
                   try
                   {
                       sql = sqlStart + sql;
                       MySqlCommand cmd = new MySqlCommand(sql, conn);
                       cmd.ExecuteNonQuery();
                       Console.WriteLine("Write {0}", x);
                       x = 0;
                   }
                   catch (Exception ex)
                    {
                        Console.WriteLine(sql);
                        Console.WriteLine(ex.ToString());
                    }
                }

        }
        // get any straglers
        if (x > 0)
        {
            try
            {
                sql = sqlStart + sql;
                MySqlCommand cmd = new MySqlCommand(sql, conn);
                cmd.ExecuteNonQuery();
                Console.WriteLine("Write {0}", x);
                x = 0;
            }
            catch (Exception ex)
            {
                Console.WriteLine(sql);
                Console.WriteLine(ex.ToString());
            }

        }

        conn.Close();
        Console.WriteLine("Write to DB - End.");
    }

Answer 2

我不知道这个答案是否为时已晚：）

您可以这样做：

// assume you have a table with one column;
string commandText = "insert into t_test1 (myid) values (@tempid)";

using (MySqlConnection cn = new MySqlConnection(myConnectionString))
{
    cn.Open();

    using (MySqlCommand cmd = new MySqlCommand(commandText, cn))
    {
        cmd.UpdatedRowSource = UpdateRowSource.None;

        cmd.Parameters.Add("?tempid", MySqlDbType.UInt32).SourceColumn = "tempid";

        MySqlDataAdapter da = new MySqlDataAdapter();
        da.InsertCommand = cmd;
        // assume DataTable dt contains one column with name "tempid"
        int records = da.Update(dt);
    }

    cn.Close();
}

Answer 3

对于KemalTaşkın解决方案，RowState集必须等于DataRowState.Added。如果不是这种情况，请执行以下操作：

foreach (DataRow row in dt.Rows)
    row.SetAdded();

对于布莱克先生，建议使用sql参数而不直接使用数据值。

将数据导入InnoDB时，请关闭自动提交模式，因为它会为每个插入执行一次磁盘刷新日志。要在导入操作期间禁用自动提交，请在其周围加上SET自动提交和COMMIT语句：

SET autocommit=0;
... SQL import statements ...
COMMIT;

性能测试：在2个表中插入5400行

从CSV文件插入：3秒

将DATA INFILE'data.csv'加载到表myTable中，以'\ t'结尾；
插入：32秒

MySqlDataAdapter.Update（DataTable）
逐行插入（）：41秒

INSERT INTO表（列）VALUES（值）；

INSERT INTO表（列）VALUES（值）；

...
在一个查询中插入所有行：143秒

INSERT INTO表（列）VALUES（值），（值），...;

=> LOAD DATA是迄今为止性能最高的！！

您也可以查看此文章： https://dev.mysql.com/doc/refman/8.0/en/insert-optimization.html

将DataTable中的所有记录插入远程数据库

3 个答案: