Question

我正在尝试创建一个程序：

使用multiprocessing
分叉进程使用python-daemon在后台再次进行分叉
在生成的后台进程中打开一个扭曲的侦听TCP端口

我需要在启动python-daemon之前分叉进程是因为我希望凝视过程保持活动状态（默认情况下python-daemon会终止父进程）。

到目前为止，我的代码是：

from twisted.web import xmlrpc, server
from twisted.internet import reactor
from daemon import daemon
import multiprocessing
import os
import logging

class RemotePart(object):

    def setup(self):
        self.commands = CommandPart()
        reactor.listenTCP(9091, server.Site(self.commands))

class CommandPart(xmlrpc.XMLRPC, object):

    def __init__(self):
        super(CommandPart, self).__init__()

    def xmlrpc_stop(self):
        return True


class ServerPart(object):

    def __init__(self):
        self.logger = logging.getLogger("server")
        self.logger.info("ServerPart.__init__()")

    def start_second_daemon(self):
        self.logger.info("start_second_daemon()")        
        daemon_context = daemon.DaemonContext(detach_process=True)
        daemon_context.stdout = open(
            name="log.txt", 
            mode='w+', 
            buffering=0
        )
        daemon_context.stderr = open(
            name="log.txt", 
            mode='w+', 
            buffering=0
        )
        daemon_context.working_directory = os.getcwd()

        daemon_context.open()
        self.inside_daemon()

    def inside_daemon(self):
        self.logger.setLevel(0)
        self.logger.info("inside daemon")
        self.remote = RemotePart()
        self.remote.setup()
        reactor.run()

class ClientPart(object):

    def __init__(self):
        logging.basicConfig(level=0)
        self.logger = logging.getLogger("client")
        self.logger.info("ClientPart.__init__()")

    def start_daemon(self):
        self.logger.info("start_daemon()")
        start_second_daemon()

    def launch_daemon(self):
        self.logger.info("launch_daemon()")
        server = ServerPart()
        p = multiprocessing.Process(target=server.start_second_daemon())
        p.start()
        p.join()

if __name__ == '__main__':
    client = ClientPart()
    client.launch_daemon()

开始这个过程似乎有效：

INFO:client:ClientPart.__init__()
INFO:client:launch_daemon()
INFO:server:ServerPart.__init__()
INFO:server:start_second_daemon()

但是查看后台进程的日志文件，twisted无法打开TCP端口：

INFO:server:inside daemon
Traceback (most recent call last):
  File "forking_test.py", line 74, in <module>
    client.launch_daemon()
  File "forking_test.py", line 68, in launch_daemon
    p = multiprocessing.Process(target=server.start_second_daemon())
  File "forking_test.py", line 45, in start_second_daemon
    self.inside_daemon()
  File "forking_test.py", line 51, in inside_daemon
    self.remote.setup()
  File "forking_test.py", line 12, in setup
    reactor.listenTCP(9091, server.Site(self.commands))
  File "/usr/lib/python2.7/site-packages/twisted/internet/posixbase.py", line 482, in listenTCP
    p.startListening()
  File "/usr/lib/python2.7/site-packages/twisted/internet/tcp.py", line 1004, in startListening
    self.startReading()
  File "/usr/lib/python2.7/site-packages/twisted/internet/abstract.py", line 429, in startReading
    self.reactor.addReader(self)
  File "/usr/lib/python2.7/site-packages/twisted/internet/epollreactor.py", line 247, in addReader
    EPOLLIN, EPOLLOUT)
  File "/usr/lib/python2.7/site-packages/twisted/internet/epollreactor.py", line 233, in _add
    self._poller.register(fd, flags)
IOError: [Errno 9] Bad file descriptor

有什么想法吗？似乎python-daemon正在关闭后台进程的所有文件描述符，这可能来自这种行为吗？

Answer 1

运行fork然后运行一些不起作用的仲裁库代码有很多原因。在这里列出它们很难，但通常做起来并不酷。我猜这里发生的具体事情是multiprocessing内的某些东西正在关闭让Wisted与其线程池通信的“waker”文件描述符，但我无法完全确定。

如果您要将其重新写入：

使用spawnProcess代替multiprocessing
使用twistd代替python-daemonize

（实际上，我建议您使用平台的守护程序管理工具集成，例如upstart或launchd或systemd，或者像runit这样的跨平台管理工具，而非依赖于在任何守护程序代码中，包括twistd中的代码，但我需要了解有关您的应用程序的更多信息，以了解推荐的内容。）

使用python-daemon监听Twisted TCP连接会产生错误的文件描述符

1 个答案: