如何使用Python将异步插入MySQL

Question

解决了，每个greenlet应该有一个连接，而不是共享相同的连接。

我想将大量数据插入MySQL数据库。我使用gevent从互联网下载数据，然后将数据插入MySQL。我发现umysqldb要插入MySQL异步。但是我收到以下错误：Mysql Error 0: Concurrent access in query method。

我的代码如下：

def insert_into_mysql(conn,cur,pid,user,time,content):
    try: 
        value=[pid,user,time,content] 
        #print 'value is', value
        print 'hi'
        cur.execute('insert into post(id,user,time,content) values(%s,%s,%s,%s)',value) 
        print 'after execute'
        conn.commit() 
    # except MySQLdb.Error,e: 
    except umysqldb.Error,e: 
        print "Mysql Error %d: %s" % (e.args[0], e.args[1]) 

insert_into_mysql包含在download_content中：

while len(ids_set) is not 0:
    id = ids_set.pop()
    print 'now id is', id
    pool.spawn(download_content,conn,cur,int(id))
    r.sadd('visited_ids',id)
    pool.join()

Answer 1

ultramysql不允许您在同一个mysql连接上进行多次查询，它只是使它异步友好。因此，您需要为每个greenlet建立一个新的mysql连接，或者使用锁定原语来确保一次只有一个greenlet使用该连接。