Python和SQL批量插入

时间:2012-12-27 12:04:41

标签: python .net sql-server ironpython sqlbulkcopy

我使用IronPython创建数据数组,我需要将此数组插入MS SQL Server。 我正在使用的.Net类是SqlBulkCopy(System.Data.SqlClient的一部分)。

我发现这篇StackOverflow文章非常有用SqlBulkCopy from a list

但是,由于我只是开始学习python,我在使用Python代码重新创建这个C#示例时遇到了困难。

这是我到目前为止所拥有的

import clr
clr.AddReference('System.Data')
from System.Data import *

import clr
clr.AddReference('System')
from System import *

sqlDbConnection = SqlClient.SqlConnection("<my-db-connection-string>")
sqlDbConnection.Open()

myDataArray = [
[Byte(7), Byte(8), Int32(1), Byte(15), Byte(12), Single(0.34324)],
[Byte(5), Byte(1), Int32(2), Byte(11), Byte(10), Single(0.77362)],
[Byte(9), Byte(2), Int32(3), Byte(12), Byte(9), Single(0.93394)]]

sqlDbConnection.Close()

我们的想法是生成一个大型数据阵列(比如说> 1百万行)并使用批量复制方法将其导入到我的表中。我真的很感激,如果有人能够阐明这一点,并解释我如何解决这个问题,以及如何利用批量复制类附带的所有选项。 SqlBulkCopy msdn reference

我一直在寻找Python中的有用示例,但到目前为止还没有找到...

非常感谢

1 个答案:

答案 0 :(得分:1)

最后绕过这一个,希望这证明有用:

import clr
clr.AddReference('System.Data')
from System.Data import SqlClient
from System.Data import *
from System.Data import DataTable

import clr
clr.AddReference('System')
from System import *
from System import Console
from System import Data

sqlConnectionString = "<sql-connection-string>"
sqlDbConnection = SqlClient.SqlConnection(sqlConnectionString)
sqlDbConnection.Open()

workTable = DataTable()
workTable.Columns.Add("Col1", Byte)
workTable.Columns.Add("Col2",Byte)
workTable.Columns.Add("Col3", Int32)
workTable.Columns.Add("Col4", Byte)
workTable.Columns.Add("Col5", Byte)
workTable.Columns.Add("Col6", Single)

sampleArray = [Byte(7), Byte(8), Int32(1), Byte(15), Byte(12), Single(0.34324)] 
for i in range (0, 189000) :
  workTable.Rows.Add(Array[object](sampleArray))

cmd = SqlClient.SqlCommand("truncate table dbo.MyTable", sqlDbConnection);
def bulkLoadEsgData (): 
    sbc = SqlClient.SqlBulkCopy(sqlConnectionString, SqlClient.SqlBulkCopyOptions.TableLock, BulkCopyTimeout=0, DestinationTableName="dbo.MyTable")
    sbc.WriteToServer(workTable)

# Start simulation
Console.WriteLine("Enter number of simulations (1 simulation = 189,000 data rows):"+"\n")
strN = Console.ReadLine()

n = int(strN)
cmd.ExecuteNonQuery()
for i in range (0, n):
    bulkLoadEsgData()

sqlDbConnection.Close()
Environment.Exit(1111)