使用Nginx +龙卷风处理5000个WebSocket连接时打开的文件太多

时间:2019-04-14 15:16:22

标签: python-3.x nginx tornado

我正在测试我的龙卷风网关服务器,该服务器在没有nginx的情况下可以很好地处理5000个连接。然后,我添加nginx并运行2台服务器来处理5000个连接。不幸的是,发生[Errno 24] Too many open files

我已经在/etc/sysctl.conf中修改了kern.maxfiles和kern.maxfilesperproc,这就是为什么我的服务器在没有nginx的情况下可以很好地处理5000个连接的原因。

kern.maxfiles=104000
kern.maxfilesperproc=100000

[Errno 24]发生后,我已经将worker_rlimit_nofile修改为10000以上,并重新启动了Nginx,但是错误仍然出现,现在让我感到困惑...

这是我在nginx.conf中对nginx的配置。

worker_processes 5;
worker_rlimit_nofile 10240;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
    worker_connections 2048;
    use kqueue;
}

http {
    #charset utf-8;

    map $http_upgrade $connection_upgrade {
        default upgrade;
        '' close;
    }

    # Enumerate all the Tornado servers here
    upstream websocket {
        server 127.0.0.1:60000;
        server 127.0.0.1:60001;
    }

    include mime.types;
    default_type application/octet-stream;

    access_log /var/log/nginx/access.log;

    keepalive_timeout 65;
    proxy_read_timeout 200;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    gzip on;
    gzip_min_length 1000;
    gzip_proxied any;
    gzip_types text/plain text/css text/xml
               application/x-javascript application/xml
               application/atom+xml text/javascript;

    # Only retry if there was a communication error, not a timeout
    # on the Tornado server (to avoid propagating "queries of death"
    # to all frontends)
    proxy_next_upstream error;

    server {
        listen 60017;

        location ^~ /static/ {
            root /path/to/app;
            if ($query_string) {
                expires max;
            }
        }

        location / {
            proxy_pass http://websocket;
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection $connection_upgrade;
    }
    }
}

我希望这些连接将被分派到我的龙卷风服务器并运行良好。但是错误发生在大约1000个连接处...

我不知道如何解决它,希望能对您有所帮助。非常感谢!

1 个答案:

答案 0 :(得分:1)

检查是否通过ulimit打开文件限制(ulimit -n仅在当前会话中有效):

root# ulimit -a | grep "open files"
open files                      (-n) 1024
root# ulimit -n 5000
root# ulimit -a | grep "open files"
open files                      (-n) 5000

仅将root用户的打开文件限制设置为5000的示例,但是此修复程序后需要重新启动(不要忘记将root用户替换为您的web用户):

echo -e "root\t\t-\tnofile\t\t 5000" >> /etc/security/limits.conf