我有一个要在数据库中更新的数字列表(实际上是百分比)。查询非常简单,我在代码中的某处获取了项目的ID,然后,我使用数字列表更新数据库中的这些项目。看我的代码:
start_time = datetime.datetime.now()
query = QtSql.QSqlQuery("files.sqlite")
for id_bdd, percentage in zip(list_id, list_percentages):
request = "UPDATE papers SET percentage_match = ? WHERE id = ?"
params = (percentage, id_bdd)
query.prepare(request)
for value in params:
query.addBindValue(value)
query.exec_()
elsapsed_time = datetime.datetime.now() - start_time
print(elsapsed_time.total_seconds())
生成list_percentages需要1秒钟,写入数据库中所有百分比需要2分钟以上。 我使用sqlite作为数据库,数据库中有大约7000个项目。查询花费这么多时间是正常的吗? 如果没有,有没有办法优化它?
编辑: 与std库中的sqlite3模块进行比较:
bdd = sqlite3.connect("test.sqlite")
bdd.row_factory = sqlite3.Row
c = bdd.cursor()
request = "UPDATE papers SET percentage_match = ? WHERE id = ?"
for id_bdd, percentage in zip(list_id, list_percentages):
params = (percentage, id_bdd)
c.execute(request, params)
bdd.commit()
c.close()
bdd.close()
我认为QSqlQuery在每个循环圈中提交更改,而sqlite3模块允许在末尾提交所有不同的查询。
对于相同的测试数据库,QSqlQuery需要大约22秒,而“正常”查询需要大约0.3秒。我不敢相信这只是一个性能问题,我必须做错事。
答案 0 :(得分:0)
您需要在循环后启动transaction
和commit
所有更新。
未经测试但应该接近:
start_time = datetime.datetime.now()
# Start the transaction time
QtSql.QSqlDatabase.transaction()
query = QtSql.QSqlQuery("files.sqlite")
for id_bdd, percentage in zip(list_id, list_percentages):
request = "UPDATE papers SET percentage_match = ? WHERE id = ?"
params = (percentage, id_bdd)
query.prepare(request)
for value in params:
query.addBindValue(value)
query.exec_()
# commit changues
if QtSql.QSqlDatabase.commit():
print "updates ok"
elsapsed_time = datetime.datetime.now() - start_time
print(elsapsed_time.total_seconds())
另一方面,这个问题可能是数据库性能问题,尝试在id
字段上创建索引:https://www.sqlite.org/lang_createindex.html
您需要直接访问数据库。
create index on papers (id);
答案 1 :(得分:0)
你真的需要每次打电话准备吗?对我来说,似乎请求没有改变,所以这个“准备”功能可能会被移出循环?