Question

我正在将子流程创建为worker对象，这些对象通过input和output队列获取和返回数据。但是，在运行代码时，似乎每个子进程都获得了input队列的完整副本，并且主线程没有通过output队列得到任何东西，这导致了死锁。为什么会这样？

import threading, queue, multiprocessing
class worker(multiprocessing.Process):
     def __init__(self,inp,out):
         super().__init__()
         self.input=inp
         self.output=out
         #real program has external subprocess initialization here
     def run(self):
         name=self.name
         while True:
             inp=self.input.get()
             if (inp is 'stop'):
                 break
             print('Process {} got task word: {}'.format(name,inp))
             print('queue size is: {}'.format(self.input.qsize()))
             self.output.put(inp.count('a'))
             print('Process {} input processed'.format(name))
         print('exiting {}'.format(name))

if __name__ == "__main__":
    inp=queue.Queue()
    out=queue.Queue(maxsize=4)
    strings = ['asd', 'assa','aaa','as','aa','aaaq']
    for x in strings:
        inp.put(x)
    print(inp.qsize())
    workers=[worker(inp,out) for x in range(2)]
    for w in workers:
        w.start()
    res=[]
    for x in strings:
        res.append(out.get())
        print("intermediate result is {}".format(res))
    for _ in workers:
        inp.put('stop')
    for w in workers:
        w.join()

    print(res)

在实际问题中，每个工作人员都会初始化自己的接口，该接口与另一个外部程序。我想避免对每个项目重复进行该初始化，因此我不能简单地将worker转换为函数并与map一起使用。

如果将multiprocessing.Process替换为具有相同api的threading.Thread，则程序可以正常运行，但在单核上无法执行任务。

Answer 1

不同的进程不会共享进程内存，因此您无法在不同进程之间共享队列。每个进程都有自己的副本。

Python multiple process share the same object or not?

您必须使用IPC机制来同步多个进程。

但是，线程共享进程内存，因此它将适用于线程而不适用于进程。

多工艺解决方案

使用多处理队列

import threading, multiprocessing
class worker(multiprocessing.Process):
     def __init__(self,inp,out):
         super().__init__()
         self.input=inp
         self.output=out
         #real program has external subprocess initialization here
     def run(self):
         name=self.name
         while True:
             inp=self.input.get()
             if (inp == 'stop'):
                 break
             print('Process {} got task word: {}'.format(name,inp))
             #print('queue size is: {}'.format(self.input.qsize()))
             self.output.put((inp, inp.count('a')))
             print('Process {} input processed'.format(name))
         print('exiting {}'.format(name))

if __name__ == "__main__":
    inp=multiprocessing.Queue()
    out=multiprocessing.Queue()
    strings = ['asd', 'assa','aaa','as','aa','aaaq']
    for x in strings:
        inp.put(x)

    workers=[worker(inp,out) for x in range(2)]
    for w in workers:
        w.start()

    for _ in workers:
        inp.put('stop')
    #print (inp.qsize())


    inp.close()
    inp.join_thread()

    for w in workers:
        w.join()

    print (out.empty())
    while not out.empty():
        print (out.get())

Python多处理que被复制

1 个答案:

多工艺解决方案