我正在使用Twisted 8.1.0作为套接字服务器引擎。反应堆 - epoll。数据库服务器是MySQL 5.0.67。操作系统 - Ubuntu Linux 8.10 32位
/etc/mysql/my.cnf
中的:
max_connections = 1000
源代码:
adbapi.ConnectionPool("MySQLdb", ..., use_unicode=True, charset='utf8',
cp_min=3, cp_max=700, cp_noisy=False)
但实际上,当应用程序在高负载下运行时,我只能看到200个(或更少)打开的连接(SHOW PROCESSLIST
)。这对我的应用来说还不够:(
我认为这是线程池的限制。有什么想法吗?
答案 0 :(得分:8)
正如您所怀疑的那样,这可能是一个线程问题。 cp_max
设置线程池中线程数的上限,但是,您的进程很可能内存远低于此限制,在您的情况下大约有200个线程。因为每个线程都有自己的堆栈,所以进程使用的总内存达到系统限制,不再创建线程。
您可以在运行程序之前通过调整堆栈大小ulimit设置(我使用bash
)来检查这一点,即
$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
max nice (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 32750
max locked memory (kbytes, -l) 32
max memory size (kbytes, -m) unlimited
open files (-n) 1024
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
max rt priority (-r) 0
stack size (kbytes, -s) 10240
cpu time (seconds, -t) unlimited
max user processes (-u) 32750
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
你可以看到我的机器上的默认堆栈大小是10240K,我发现我可以使用此设置创建大约300个线程。将堆栈大小调整为1024K(使用ulimit -s 1024
)我可以创建大约3000个线程。
您可以使用此脚本了解系统上的线程创建限制:
from thread import start_new_thread
from time import sleep
def sleeper():
try:
while 1:
sleep(10000)
except:
if running: raise
def test():
global running
n = 0
running = True
try:
while 1:
start_new_thread(sleeper, ())
n += 1
except Exception, e:
running = False
print 'Exception raised:', e
print 'Biggest number of threads:', n
if __name__ == '__main__':
test()
这是否能解决您的问题取决于ConnectionPool
线程的内存要求。