在python中使用dbf库读取更改

时间:2014-12-03 16:50:24

标签: python mysql dbf

我正在尝试创建一个在dbf文件中进行更改然后上传它们的程序。我已经阅读了dbf文件,并将其上传到mysql数据库,但上传了50分钟。我试图让它只上传已更改的字段。我遇到的问题是,我似乎需要关闭并重新打开dbf文件。如果有人在这样做的时候做出改变,它就不会注意到这是一个改变。

有没有更好/正确的方法:

import time
import dbf
import MySQLdb
import os

source_path = r"\\path\to\file"
file_name = "\\test.Dbf"

print "Found Source DBF"

source = dbf.Table(source_path + file_name)
source.open()

print "Opened DBF"

updated = list(source)
print "Copied Source"

db = MySQLdb.connect(host = "myHost.com", port=3306, user = "user", passwd = "pass", db = "database")
cur = db.cursor()
print "Connected to database"

try:
        cur.execute("DROP TABLE IF EXISTS dbftomysql")
except:
        db.rollback()

print "Dropped old table"

sql = """CREATE TABLE table(
        col1 VARCHAR(200) NOT NULL,
        col2 VARCHAR(200),
        col3 VARCHAR(200),
        col4 NUMERIC(15,2),
        col5 VARCHAR(200) )"""

cur.execute(sql)

print "Created new table"

for i, s in zip(source, updated):
        query = """INSERT table SET col1 = %s, col2 = %s, col3 = %s, col4 = %s, col5 = %s"""
        values = (i["col1"], i ["col2 "], i["col3"], i["col4"], i["col5"])
        cur.execute(query, values)
        db.commit()
        print i["col1"], i ["col2 "], i["col3"], i["col4"], i["col5"]
print "First Upload Completed"

while True:
        for i, s in zip(source, updated):
                if i["col1"] != s["col1"]:
                        print i["col1"] + " col1Updated"
                        query = """UPDATE table SET col1= %s WHERE col1= %s"""
                        values = (i["col1"], s["col1"])
                        try:
                                cur.execute(query, values)
                                db.commit()
                        except:
                                db.rollback()
                                print "No connection to database"

                if i["col2"] != s["col2"]:
                        print i["col2"] + " col2 Updated for " + i["col1"]
                        query = """UPDATE table SET col2 = %s WHERE col1= %s OR col1= %s"""
                        values = (i["col2"], i["col1"], s["col1"])
                        try:
                                cur.execute(query, values)
                                db.commit()
                        except:
                                db.rollback()
                                print "No connection to database"
                        #ect

        updated = list(source)
        source.close()
        source.open()                     
        time.sleep(0.2)

1 个答案:

答案 0 :(得分:1)

dbf库只会从dbf文件中获取记录,如果它不存在于内存中;当你做的时候

updated = list(source)

您实际上冻结了所有行,因为updated是一个记录列表(不是list的列表或tuple的列表;这意味着当您稍后尝试时要比较sourceupdated,您要比较相同的数据。

为了使updated成为source尝试

的单独实体
updated = [tuple(row) for row in source]

将为您提供元组列表,或

updated = [scatter(row, dict) for row in source]

将为您提供一个dicts列表,这是您进一步缩小字段比较代码所需的内容。