Question

我有一个包含大约21个lac条目的文本文件，我想将所有这些条目插入到表中。最初我在c＃中创建了一个逐行读取并插入表中的函数，但这需要花费太多时间。请建议一种有效的方法来插入这些批量数据，并且该文件包含TAB（4个空格）作为分隔符该文本文件还包含一些重复的条目，我不想插入这些条目。

Answer 1

将所有数据加载到DataTable对象中，然后使用SqlBulkCopy批量插入它们：

DataTable dtData = new DataTable("Data");

// load your data here

using (SqlConnection dbConn = new SqlConnection("db conn string"))
{
    dbConn.Open();

    using (SqlTransaction dbTrans = dbConn.BeginTransaction())
    {
        try
        {
            using (SqlBulkCopy dbBulkCopy = new SqlBulkCopy(dbConn, SqlBulkCopyOptions.Default, dbTrans))
            {
                dbBulkCopy.DestinationTableName = "intended SQL table name";
                dbBulkCopy.WriteToServer(dtData );
            }

            dbTrans.Commit();
        }
        catch
        {
            dbTrans.Rollback();
            throw;
        }
    }

    dbConn.Close();
}

我已经将示例包含在SqlTransaction中，因此如果在此过程中出现故障，将会进行完全回滚。为了帮助您入门，here's a good CodeProject article将分隔数据加载到DataSet对象中。

加载前清理数据

好的，这就是我认为你的数据看起来的样子：

CC_FIPS    FULL_NAME_ND 
AN         Xixerella
AN         Vila 
AN         Sornas
AN         Soldeu
AN         Sispony
... (cut down for brevity)

在这种情况下，您想要像这样创建DataTable：

DataTable dtData = new DataTable("Data");
dtData.Columns.Add("CC_FIPS");
dtData.Columns.Add("FULL_NAME_ND");

然后你想迭代每一行（假设你的制表符分隔数据是通过回车逐行分开的）并使用DataTable方法检查.Select中是否已存在此数据如果有匹配（我正在检查BOTH值，则由您决定是否要执行其他操作）然后不添加它，从而防止重复。

using (FileStream fs = new FileStream("path to your file", FileMode.Open, FileAccess.Read))
{
    int rowIndex = 0;
    using (StreamReader sr = new StreamReader(fs))
    {
        string line = string.Empty;
        while (!sr.EndOfStream)
        {
            line = sr.ReadLine();

            // use a row index to skip the header row as you don't want to insert CC_FIPS and FULL_NAME_ND
            if (rowIndex > 0)
            {
                // split your data up into a 2-d array tab delimited
                string[] parts = line.Split('\t');

                // now check whether this data has already been added to the datatable
                DataRow[] rows = dtData.Select("CC_FIPS = '" + parts[0] + "' and FULL_NAME_ND = '" + parts[1] + "'");
                if (rows.Length == 0)
                {
                    // if there're no rows, then the data doesn't exist so add it
                    DataRow nr = dtData.NewRow();
                    nr["CC_FIPS"] = parts[0];
                    nr["FULL_NAME_ND"] = parts[1];
                    dtData.Rows.Add(nr);
                }
            }

            rowIndex++;
        }
    }
}

最后，你应该有一个可以批量插入的消毒DataTable。请注意，此代码未经过测试，但最佳猜测是如何进行测试。有很多方法可以做到，并且可能比这个方法（特别是LINQ）好很多 - 但它是一个起点。

从文本文件批量插入MS SQL

1 个答案: