Question

我正在尝试使用python（pymysql连接器）将一些数据插入到MySQL数据库中，并且我的性能非常差（每秒插入大约10行）。该表是InnoDB，我正在使用多值insert语句，并确保关闭自动提交。我的插入仍然如此缓慢的任何想法？

我最初认为自动提交没有被正确禁用，但我添加了代码来测试它在每次连接时是否被禁用（= 0）。

这是我的示例代码：

for i in range(1,500):
    params.append([i,i,i,i,i,i])
insertDB(params)

def insertDB(params):
    query = """INSERT INTO test (o_country_id, i_country_id,c_id,period_id,volume,date_created,date_updated)
        VALUES (%s,%s,%s,%s,%s,NOW(),NOW())
        ON DUPLICATE KEY UPDATE trade_volume = %s, date_updated = NOW();"""
    db.insert_many(query,params)

def insert_many(query,params=None):
    cur = _connection.cursor()
    try:
        _connection.autocommit(False)
        cur.executemany(query,params)
        _connection.commit()
    except pymysql.Error, e:
        print ("MySQL error %d: %s" %
            (e.args[0], e.args[1]))
    cur.close()

还有什么问题？上面的例子需要大约110秒的永久执行。

Answer 1

不确定是什么问题，但我会尝试mysqldb和/或mysql连接器模块，看看我是否得到相同的性能数字。

从Python缓慢的MySQL插入

1 个答案: