Question

所有。我使用dbf（vfp）文件中的python加载数据到oracle db.But，效率不好。记录7,000,000成本40minutes.Only我想减少循环，这是关键点。代码如下：

import sys
import cx_Oracle
from dbfpy.dbf import *

dbhost=sys.argv[1]
dbport=sys.argv[2]
dbsid=sys.argv[3]
dbuser=sys.argv[4]
dbpasswd=sys.argv[5]
schema=sys.argv[6]
tbname=sys.argv[7]
vdate=sys.argv[8]
organ=0
gap=5000

tns = cx_Oracle.makedsn(dbhost,dbport,dbsid)
db = cx_Oracle.connect(dbuser,dbpasswd,tns)
execsql = 'truncate table ' + schema + '.' + tbname
cur = db.cursor()
cur.execute(execsql)

count=0
param=[];
execsql='insert into '+ schema + '.' + tbname + ' values(:1,:2,:3,:4,:5,:6,:7,:8,:9,:10,:11)'
dbf = Dbf("E:\abc.dbf")
for rec in dbf:
    param.append((vdate,rec['ZQ'],rec['TZ'],rec['TX'],rec['ZJ'],rec['ZJM'],rec['CQ'],rec['DH'],rec['RQ'],rec['ZZT'],rec['DXW']))
    count += 1
    if count >= gap:
        cur.executemany(execsql,param);
        db.commit()
        param=[]    
        count = organ 

if param:
    cur.executemany(execsql,param);
    db.commit()
cur.close()
db.close()
dbf.close()

每个人都可以帮助我提高效率吗？

Answer 1

Oracle是否支持从.csv文件中读取数据？如果是，请查看my dbf package以创建包含必填字段的.csv文件（类似于此内容（未经测试））：

import dbf

with dbf.Table(r'c:\abc.dbf') as t:
    dbf.export(t, field_names='ZQ, TZ, TX, ZJ, ZJM, CQ, DH, RQ, ZZT, DXW')

这将使用这些字段中的数据创建c:\abc.csv。

Python：如何提高从vfp（dbf）到oracle的效率加载数据？

1 个答案: