批量插入多个数据库提供者

时间:2019-05-20 13:31:48

标签: c# .net sql-server postgresql bulkinsert

我是donet的新手,我试图找到一种方法将数据库从c#写入db provider。数据来自json文件,其中包含插入过程的所有必要信息(表名,列名,类型(如字符串)和数据)。由于数据量可能会很大,因此我想规避为每一行创建一个新的insert语句。是否有一种适用于所有数据库提供程序的方法?

从反序列化的json文件中,我首先创建一个DbType数组,该数组保存每一列的数据类型。

为此,我尝试通过以下方式获得令人满意的插入方法

  1. 使用stringbuilder构建INSERT语句

  2. 构建DbCommand并向其提供所有信息

  3. 执行创建的DbCommand


using (IDbConnection connection = dbFactory.CreateConnection())
{
    foreach (TableDTO table in dbTables)
    {
        //build the insert statement
        StringBuilder insertSQLBuilder = new StringBuilder();
        insertSQLBuilder.Append("INSERT INTO " + table.Name + "(");

        foreach (ColumnDTO column in table.Columns)
        {
            insertSQLBuilder.Append(column.Name + ", ");                    
        }
        insertSQLBuilder.Length = insertSQLBuilder.Length - 2;
        insertSQLBuilder.Append(") VALUES (");

        for (int i = 0; i < table.Columns.Length; i++) {
            insertSQLBuilder.Append("@param" + i + ", ");          
        }
        insertSQLBuilder.Length = insertSQLBuilder.Length - 2;
        insertSQLBuilder.Append(")");

        //prepare the insert command
        using (IDbCommand dbCommand = connection.CreateCommand()) {
            dbCommand.CommandText = insertSQLBuilder.ToString();

            IDbDataParameter[] dbParameters = new DbParameter[table.Columns.Length];

            for (int i = 0; i < table.Columns.Length; i++)
            {
                IDbDataParameter dbParameter = dbCommand.CreateParameter();
                dbParameter.DbType = typeArray[i];  //DbType Array, which holds the types for each column
                dbParameter.ParameterName = "param" + i;
                dbParameters[i] = dbParameter;
            } 

            while (dataDeserializer.MoveNext())
            {
                // get new row from json file, each element of ColumnData holds the value and extra information which is not needed here
                ColumnData[] columnData = dataDeserializer.Current;
                for (int i = 0; i < dbParameters.Length; i++)
                {
                    bool isNotGuid = typeArray[i] != DbType.Guid;
                    object value = null;
                    //TODO stupid conversion workaround
                    if (isNotGuid)
                    {
                        value = columnData[i].Value;
                    }
                    else
                    {
                        value = Guid.Parse(columnData[i].Value);
                    }
                    dbParameters[i].Value = value ?? DBNull.Value;
                    dbCommand.Parameters.Add(dbParameters[i]);
                }
                //execute statement and close connection
                dbCommand.Connection.Open();
                dbCommand.ExecuteNonQuery();
                dbCommand.Connection.Close();
                dbCommand.Parameters.Clear();
            }
        }
    }           
}

我想做的是绕过对数据库的单次插入调用,而不指定数据库提供者。是否有一个库支持多个提供程序的批量插入?理想的情况是使用一个库,该库允许我更改参数的值以及应该立即插入的行的最大计数(以检查内存使用情况)。

0 个答案:

没有答案