Question

我目前正在开发一个websocket实现，它允许在同一个侦听套接字上进行多处理。我可以在四核机器上通过4个进程实现惊人的性能。

当我进入上层时，就像8个进程一样，在4个请求之后，epoll.poll不会再触发任何事件。有趣的是，我尝试运行相同的程序，在2个不同的端口上有2个监听器。每个侦听器有4个进程，每个插槽发出2个请求后就会阻塞。每个听众有2个进程，il都可以通过它完成。

有什么想法吗？

主要 .py（摘录）

#create the WSServer
wsserver = WSServer(s.bind_ip, s.bind_port, s.max_connections)
# specify on how many process we'll run
wsserver.num_process = s.num_process
Process(target=wsserver.run,args=()).start()

wsserver.py（摘录）

def serve_forever_epoll(wsserver):
    log(current_process())
    epoll = select.epoll()
    epoll.register(wsserver.socket.fileno(), select.EPOLLIN)
    try:
        client_map = {}
        while wsserver.run:
            events = epoll.poll(1)
            for fileno, event in events:
                if fileno == wsserver.socket.fileno():
                    channel, details = wsserver.socket.accept()
                    channel.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)
                    aclient = wsclient.WSClient(channel, wsserver, process_server.client_manager)
                    client_map[channel.fileno()] = aclient
                    epoll.register(channel.fileno(), select.EPOLLIN )
                    log('Accepting client on %s' % current_process())
                    aclient.do_handshake()

                elif event & select.EPOLLIN:
                        aclient = client_map[fileno]
                        threading.Thread(target=aclient.interact).start()

    except Exception, e:
        log(e)
    finally:
        epoll.unregister(wsserver.socket.fileno())
        epoll.close()
        wsserver.socket.close()

class WSServer():

    def __init__(self, address, port, connections):
        self.address = address
        self.port = port
        self.connections = connections
        self.onopen = onopen
        self.onclose = onclose
        log('server init')
        self.socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1)
        self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
        #self.socket.setblocking(0)
        self.socket.bind((self.address, int(self.port)))
        self.socket.listen(self.connections)

    def run(self, *args):
        multiprocessing.log_to_stderr(logging.DEBUG)
        log("Run server")
        try:

            log("Starting Server")
            self.run = True
            serve_forever = serve_forever_epoll
            for i in range(self.num_process-1):
                log('Starting Process')
                Process(target=serve_forever,args=(self,)).start()
            serve_forever(self)

        except Exception as e:
            log("Exception-- %s " % e)
            pass

Answer 1

好的，最后这个奇怪的案例是由我正在使用的另一个模块引起的。我使用Pyro4作为管理员来跟踪哪个进程拥有什么客户端。这大大简化了IPC，并允许我根据某些user_data进行一些客户端过滤。

问题是Pyro4守护程序在MainProcess上运行但在主线程上没有运行！... 只要我少了4个进程，一切都没问题（不要问我为什么）。在主进程+线程事件循环中移动Pyro，它运行得非常好！所以现在，我能够为同一个侦听端口实现8,16或32个进程，并生成新的配置来复制它或为websocket服务器公开新的端点！

感谢您的贡献，对不起您的时间......

python socket +多处理

1 个答案: