使用twisted的反应器进行Python多处理

时间:2009-09-04 06:08:57

标签: python twisted multiprocessing

我正在开发一个xmlrpc服务器,它必须循​​环执行某些任务。我使用twisted作为xmlrpc服务的核心,但我遇到了一个小问题:

class cemeteryRPC(xmlrpc.XMLRPC):

    def __init__(self, dic):
        xmlrpc.XMLRPC.__init__(self)


    def xmlrpc_foo(self):
        return 1


    def cycle(self):
        print "Hello"
        time.sleep(3)


class cemeteryM( base ):

    def __init__(self, dic):   # dic is for cemetery
        multiprocessing.Process.__init__(self)
        self.cemRPC = cemeteryRPC()


    def run(self):
        # Start reactor on a second process
        reactor.listenTCP( c.PORT_XMLRPC, server.Site( self.cemRPC ) )
        p = multiprocessing.Process( target=reactor.run )
        p.start()

        while not self.exit.is_set():
            self.cemRPC.cycle()
            #p.join()


if __name__ == "__main__":

    import errno
    test = cemeteryM()
    test.start()

    # trying new method
    notintr = False
    while not notintr:
        try:
            test.join()
            notintr = True 
        except OSError, ose:
            if ose.errno != errno.EINTR:
                raise ose
        except KeyboardInterrupt:
            notintr = True

我应该如何加入这两个过程,以便它们各自的连接不会阻塞?

(我对“加入”非常困惑。为什么它会阻止我用谷歌搜索但是找不到很多有用的解释加入的用法。有人能解释一下吗?)

此致

2 个答案:

答案 0 :(得分:11)

你真的需要在一个单独的进程中运行Twisted吗?这看起来很不寻常。

尝试将Twisted的Reactor视为您的主循环 - 并挂起您需要的所有内容 - 而不是尝试将Twisted作为后台任务运行。

执行此类操作的更常规方法是使用Twisted的.callLater或将LoopingCall对象添加到Reactor。

e.g。

from twisted.web import xmlrpc, server
from twisted.internet import task
from twisted.internet import reactor

class Example(xmlrpc.XMLRPC):          
    def xmlrpc_add(self, a, b):
        return a + b

    def timer_event(self):
        print "one second"

r = Example()
m = task.LoopingCall(r.timer_event)
m.start(1.0)

reactor.listenTCP(7080, server.Site(r))
reactor.run()

答案 1 :(得分:3)

Hey asdvawev - .join()在多处理中的工作就像线程中的.join()一样 - 它是一个阻塞调用,主线程运行等待工作者关闭。如果工作者永远不会关闭,那么.join()将永远不会返回。例如:

class myproc(Process):
    def run(self):
        while True:
            time.sleep(1)

调用run on this意味着join()永远不会返回。通常为了防止这种情况,我将使用传递给子进程的Event()对象来允许我通知子进程何时退出:

class myproc(Process):
    def __init__(self, event):
        self.event = event
        Process.__init__(self)
    def run(self):
        while not self.event.is_set():
            time.sleep(1)

或者,如果您的工作被封装在一个队列中 - 您只需让子进程在队列中工作,直到它遇到一个sentinel(通常是队列中的None条目),然后关闭。

这两个建议意味着在调用.join()之前你可以发送set事件,或者插入sentinel,当调用join()时,进程将完成它的当前任务然后正确退出。