Question

我有以下代码从一个表中搜索ID并插入到另一个表中。 GENRETB包含大约200万条记录，MOVIETB包含大约800,000条记录。代码工作正常，但速度很慢。需要帮助来优化和改进这段代码的性能。

import sqlite3

conn = sqlite3.connect('movieDB.db')
print ("Opened database successfully");

cursor = conn.execute("SELECT MOVIENAME FROM GENRETB")

for row in cursor:
    mname = row[0]
    print(mname)
    cursor2 = conn.execute("SELECT ID FROM MOVIETB WHERE MOVIENAME = ?",(mname,))
    for row2 in cursor2:
        mid = row2[0]
        print(mid)
        conn.execute ("UPDATE GENRETB SET ID = ? WHERE MOVIENAME = ?",(mid,mname))

conn.commit()
conn.close()

提前致谢

Answer 1

速度很慢，因为内部查询会运行很多次。最终你在python中进行连接。最好在sql中使用join。

例如：

cursor = conn.execute("SELECT GENRETB.MOVIENAME, MOVIETB.MOVIENAME, 
MOVIETB.MID FROM GENRETB JOIN MOVIETB ON MMOVIETB.OVIENAME = GENRETB.MOVIENAME")

您甚至可以通过一次执行而不是多次更新来执行更新。 E.g：

UPDATE GENRETB SET ID = (SELECT MID FROM MOVIETB WHERE MOVIENAME = GENRETB.MOVIENAME)

也许你必须改变它，因为我不知道你的数据库。

我不知道是否需要打印mid。如果是，您只能查询，因此速度会快得多。如果没有，你真的不需要运行循环，只需要一个更新语句。

另一个问题是，你尝试做什么是一个好主意。这取决于你的表之间的关系。

优化python代码以获得更好的性能

1 个答案: