Question

我正在尝试使用csv文件中的值更新数据库，以下是我的代码：

import MySQLdb as mdb
import sys
import csv

con = None
command = ''
new_name_list = []
old_name_list = []
duplicates = []
update_list = []
file = 'csv_file.csv'
listReader = csv.reader(open(file, 'r'))
for row in listReader:
    new_name_list.append(row)

try:

    con = mdb.connect('localhost', 'root', 'mypassword', 'mydb')
    con.autocommit(True)

    cur = con.cursor()
    cur.execute("SELECT fil_name FROM file WHERE fil_name like 'boy%' and fil_job_id=1")    

    numrows = int(cur.rowcount)

    for i in range(numrows):
        file_name = cur.fetchone()
    old_name_list.append(file_name[0])

    d = dict(new_name_list)

    for n in old_name_list:
        try:
            print n + " has been updated to " +  d[n]
            command = "UPDATE file SET fil_name='" + d[n] + "' WHERE fil_name='" + n + "'"
            cur.execute(command)
        except KeyError:
            duplicates.append(n)

except mdb.Error, e:

    print "Error %d: %s" % (e.args[0],e.args[1])
    sys.exit(1)

finally:    

    if con:    
        con.close()

每张打印出现大约需要2-3秒，这让我觉得更新执行速度很慢。我有很多要更新的值，这不应该是它应该执行的速度（假设我能够快速打印出d[n]的所有值）

无论如何都要加快更新速度？

编辑：数据库正在使用InnoDB引擎

Answer 1

您可以尝试使用executemany：

data = [(n, d[n]) for n in old_name_list]
cur.executemany("UPDATE file SET fil_name='%s'  WHERE fil_name='%s'", data)

此外，您可能需要考虑索引fil_name（假设fil_name是主要读取的）

Answer 2

根据你的描述，每次打印花费2~3秒，所以我认为问题可能就是这样：

您的表格文件的fil_name列是否已编入索引？
您将auto_commit设为true，每次更新都是提交的事务。

如果大小写为1，只需在该列上创建索引，不要在更新时进行表扫描。

如果案件是2，@ dave给出了一个很好的答案。

Python MySQLdb更新值很慢

2 个答案: