Question

我有一个空闲的后台进程来处理队列中的数据，我已经按照以下方式实现了这一过程。在这个例子中传递的数据只是一个整数，但我将传递最多1000个整数的列表，并在每秒的队列中放置多达100个列表。这是正确的方法，还是我应该考虑更精细的RPC和服务器方法？

import multiprocessing
import Queue
import time

class MyProcess(multiprocessing.Process):

    def __init__(self, queue, cmds):
        multiprocessing.Process.__init__(self)  
        self.q = queue
        self.cmds = cmds

    def run(self):
        exit_flag = False
        while True:
            try:
                obj = self.q.get(False)
                print obj
            except Queue.Empty:
                if exit_flag:
                    break
                else:
                    pass
            if not exit_flag and self.cmds.poll():
                cmd = self.cmds.recv()
                if cmd == -1:
                    exit_flag = True
            time.sleep(.01)

if __name__ == '__main__':
    queue = multiprocessing.Queue()
    proc2main, main2proc = multiprocessing.Pipe(duplex=False)
    p = MyProcess(queue, proc2main)
    p.start()
    for i in range(5):
        queue.put(i)    
    main2proc.send(-1)
    proc2main.close()
    main2proc.close()
    # Wait for the worker to finish
    queue.close()
    queue.join_thread()
    p.join()

Answer 1

这取决于处理数据所需的时间。我无法分辨，因为我没有数据样本，但总的来说，当您需要负载平衡，保证正常运行时间或可伸缩性等内容时，最好转向更精细的RPC和服务器方法。请记住，这些事情会增加复杂性，这可能会使您的应用程序更难以部署，调试和维护。它还会增加处理任务所需的延迟（可能会或可能不会引起您的关注）。

我会使用一些示例数据对其进行测试，并确定您是否需要多个服务器提供的可伸缩性。

Python进程间与空闲进程的通信

1 个答案: