使用多处理在同一个mysqldb connnect中查询,阻止?

时间:2016-05-27 05:15:03

标签: mysql linux mysql-python pymysql

中止MySQLdb。

我知道很多进程没有使用相同的连接,因为这将是一个问题。

但是,运行下代码,mysql请求是阻塞,然后很多进程开始同时查询sql,sql是“select sleep(10)”,它们是一个接一个。

我没有在MySQLdb / mysql.c中找到代码中止lock / mutux,为什么没有问题?我认为一般来说连接fd会有问题。但通过我的测试,只有阻止io,问题不会出现。锁在哪里?

import time
import multiprocessing
import MySQLdb

db = MySQLdb.connect("127.0.0.1","root","123123","rui" )

def func(*args):
    while 1:
        cursor = db.cursor()
        cursor.execute("select sleep(10)")
        data = cursor.fetchall()
        print len(data)
        cursor.close()
        print time.time()
        time.sleep(0.1)

if __name__ == "__main__":
    task = []

    for i in range(20):
        p = multiprocessing.Process(target = func, args = (i,))
        p.start()
        task.append(p)
    for i in task:
        i.join()

结果日志,我们发现每个请求间隔为10秒。

1
1464325514.82
1
1464325524.83
1
1464325534.83
1
1464325544.83
1
1464325554.83
1
1464325564.83
1
1464325574.83
1
1464325584.83
1
1464325594.83
1
1464325604.83
1
1464325614.83
1
1464325624.83

tcpdump log:

我们发现每个请求间隔为10秒。

13:07:04.827304 IP localhost.44281 > localhost.mysql: Flags [.], ack 525510411, win 513, options [nop,nop,TS val 2590846552 ecr 2590846552], length 0
    0x0000:  4508 0034 23ad 4000 4006 190d 7f00 0001  E..4#.@.@.......
    0x0010:  7f00 0001 acf9 0cea fc09 7cf9 1f52 a70b  ..........|..R..
    0x0020:  8010 0201 ebe9 0000 0101 080a 9a6d 2e58  .............m.X
    0x0030:  9a6d 2e58                                .m.X
13:07:04.928106 IP localhost.44281 > localhost.mysql: Flags [P.], seq 0:21, ack 1, win 513, options [nop,nop,TS val 2590846653 ecr 2590846552], length 21
    0x0000:  4508 0049 23ae 4000 4006 18f7 7f00 0001  E..I#.@.@.......
    0x0010:  7f00 0001 acf9 0cea fc09 7cf9 1f52 a70b  ..........|..R..
    0x0020:  8018 0201 fe3d 0000 0101 080a 9a6d 2ebd  .....=.......m..
    0x0030:  9a6d 2e58 1100 0000 0373 656c 6563 7420  .m.X.....select.
    0x0040:  736c 6565 7028 3130 29                   sleep(10)

13:07:14.827526 IP localhost.44281 > localhost.mysql: Flags [.], ack 65, win 513, options [nop,nop,TS val 2590856553 ecr 2590856552], length 0
    0x0000:  4508 0034 23af 4000 4006 190b 7f00 0001  E..4#.@.@.......
    0x0010:  7f00 0001 acf9 0cea fc09 7d0e 1f52 a74b  ..........}..R.K
    0x0020:  8010 0201 9d73 0000 0101 080a 9a6d 5569  .....s.......mUi
    0x0030:  9a6d 5568                                .mUh
13:07:14.927960 IP localhost.44281 > localhost.mysql: Flags [P.], seq 21:42, ack 65, win 513, options [nop,nop,TS val 2590856653 ecr 2590856552], length 21
    0x0000:  4508 0049 23b0 4000 4006 18f5 7f00 0001  E..I#.@.@.......
    0x0010:  7f00 0001 acf9 0cea fc09 7d0e 1f52 a74b  ..........}..R.K
    0x0020:  8018 0201 fe3d 0000 0101 080a 9a6d 55cd  .....=.......mU.
    0x0030:  9a6d 5568 1100 0000 0373 656c 6563 7420  .mUh.....select.
    0x0040:  736c 6565 7028 3130 29                   sleep(10)

```

```

端。

1 个答案:

答案 0 :(得分:0)

这是偶然的。

MySQL是请求 - 重新响应协议。

当两个进程发送查询时,除非查询很大,否则它不会混合。 MySQL服务器(1)接收一个查询,(2)发送响应(1),(3)接收下一个查询,(4)发送响应(3)。

当从MySQL服务器发送第一个响应时,两个进程中的一个接收它。由于响应足够小,因此它被原子接收。 下一个响应是由另一个进程收到的。

尝试从一个进程发送“SELECT 1 + 2”,从另一个进程发送“SELECT 1 + 3”。 “1 + 2”可能是偶然的4,“SELECT 1 + 3”可能是偶然的3。