Question

基本上我有以下代码：

import multiprocessing
import time

class MyProcess(multiprocessing.Process):

    def __init__(self, ):
        multiprocessing.Process.__init__(self)
        self.queue = multiprocessing.Queue()

    def run(self):
        print "Subprocess starting!"
        time.sleep(4)
        print "Subprocess exiting!"

    def addToQueue(self):
        starttime = time.time()
        count=0
        print "Adding stuff to queue..."
        while time.time()-starttime  < 4:
            self.queue.put("string")
            count += 1
        print "Added %d objects!" % count

        #self.queue.close()


if __name__ == "__main__":
    process = MyProcess()
    process.start()
    print "Waiting for a while"
    time.sleep(2)
    process.addToQueue()
    time.sleep(1)
    print "Child process state: %d" % process.is_alive()

当主进程完成时，它不会退出。什么都没发生，它只是阻止。我发现戒烟的唯一方法是杀死它（不是SIGTERM，SIGKILL）。

如果我使用该注释行，则退出但发出IOError。

我查看了multiprocessing.queue的代码，它使用了另一个线程（threading.Thread）中生成的os.pipe（）。我怀疑是线程在写入管道时阻塞，并且当使用close（）方法时，它会引发IOError。

所以我的问题是：有更清洁的方法来解决这个问题吗？

我的意思是，我有这种情况，一直在写一个队列。当接收过程退出（干净或不干净）时，我应该关闭队列并在发送者进程上获得IOError？

编辑：流程的输出

Waiting for a while
Subprocess starting!
Adding stuff to queue...
Subprocess exiting!
Added 1822174 objects!
Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed
    send(obj)
IOError: [Errno 32] Broken pipe
Child process state: 0

此部分仅在使用已注释的self.queue.close（）时发生：

Traceback (most recent call last):
  File "/usr/lib/python2.7/multiprocessing/queues.py", line 266, in _feed
    send(obj)
IOError: [Errno 32] Broken pipe

Answer 1

我正在回答我自己的问题，因为不是每个人都会阅读评论。在评论中来自用户mata的提示后，我测试了问题中的示例代码，在循环内添加了对time.sleep(0.01)的调用，将对象添加到队列中，因此我可以限制要添加到的队列的对象数量队列：

def addToQueue(self):
        starttime = time.time()
        count=0
        print "Adding stuff to queue..."
        while time.time()-starttime  < 4:
            self.queue.put("string")
            count += 1
            time.sleep(0.01)
        print "Added %d objects!" % count

因此，当对象数量较少（在此示例中小于3800）时，该过程正常退出。但是当有很多对象时，进程之间的管道似乎有一些锁定。

但这给我提出了另一个问题：这是一个错误吗？我应该报告吗？或者这只是正常的预期行为？

非常感谢用户mata指出这种可能性！

Python多处理队列：接收进程退出时该怎么办？

1 个答案: