Question

当我通过threading._wait_for_tstate_lock在Process和Thread之间传输大量数据时，multiprocessing.Queue中引发了异常。

我的最小工作示例首先看起来有点复杂-抱歉。我会解释。原始应用程序将许多（不是很重要）文件加载到RAM中。这是在一个单独的过程中完成的，以节省资源。 gui主线程不应冻结。

GUI运行会单独启动Thread，以防止gui事件循环冻结。
此单独的Thread然后启动一个Process，它应该可以完成工作。

a）此Thread实例为multiprocess.Queue（请注意，这是multiprocessing而不是threading！）

b）授予Process以便将数据从Process共享回Thread。
Process做一些工作（3个步骤），并将结果.put()放入multiprocessing.Queue。
Process结束时，Thread再次接管并从Queue收集数据，并将其存储到其自己的属性MyThread.result。
Thread告诉GUI主循环/线程在有时间的情况下调用回调函数。
回调函数（MyWindow::callback_thread_finished()' ) get the results from MyWindow.thread.result`。

问题是，如果放入Queue的数据发生了很大的事情，我不了解-MyThread永远不会结束。我必须通过Strg + C取消应用程序。

我从文档中得到了一些提示。但是我的问题是我没有完全理解文档。但是我觉得可以在这里找到我问题的关键。请参阅“ Pipes and Queues”中的两个红色boxex（Python 3.5文档）。那是完整的输出

MyWindow::do_start()
Running MyThread...
Running MyProcess...
MyProcess stoppd.
^CProcess MyProcess-1:
Exception ignored in: <module 'threading' from '/usr/lib/python3.5/threading.py'>
Traceback (most recent call last):
  File "/usr/lib/python3.5/threading.py", line 1288, in _shutdown
    t.join()
  File "/usr/lib/python3.5/threading.py", line 1054, in join
    self._wait_for_tstate_lock()
  File "/usr/lib/python3.5/threading.py", line 1070, in _wait_for_tstate_lock
    elif lock.acquire(block, timeout):
KeyboardInterrupt
Traceback (most recent call last):
  File "/usr/lib/python3.5/multiprocessing/process.py", line 252, in _bootstrap
    util._exit_function()
  File "/usr/lib/python3.5/multiprocessing/util.py", line 314, in _exit_function
    _run_finalizers()
  File "/usr/lib/python3.5/multiprocessing/util.py", line 254, in _run_finalizers
    finalizer()
  File "/usr/lib/python3.5/multiprocessing/util.py", line 186, in __call__
    res = self._callback(*self._args, **self._kwargs)
  File "/usr/lib/python3.5/multiprocessing/queues.py", line 198, in _finalize_join
    thread.join()
  File "/usr/lib/python3.5/threading.py", line 1054, in join
    self._wait_for_tstate_lock()
  File "/usr/lib/python3.5/threading.py", line 1070, in _wait_for_tstate_lock
    elif lock.acquire(block, timeout):
KeyboardInterrupt

这是最小的工作示例

#!/usr/bin/env python3

import multiprocessing
import threading
import time
import gi
gi.require_version('Gtk', '3.0')
from gi.repository import Gtk
from gi.repository import GLib


class MyThread (threading.Thread):
    """This thread just starts the process."""
    def __init__(self, callback):
        threading.Thread.__init__(self)
        self._callback = callback

    def run(self):
        print('Running MyThread...')
        self.result = []

        queue = multiprocessing.Queue()
        process = MyProcess(queue)
        process.start()
        process.join()

        while not queue.empty():
            process_result = queue.get()
            self.result.append(process_result)
        print('MyThread stoppd.')
        GLib.idle_add(self._callback)


class MyProcess (multiprocessing.Process):
    def __init__(self, queue):
        multiprocessing.Process.__init__(self)
        self.queue = queue

    def run(self):
        print('Running MyProcess...')
        for i in range(3):
            self.queue.put((i, 'x'*102048))
        print('MyProcess stoppd.')

class MyWindow (Gtk.Window):
    def __init__(self):
        Gtk.Window.__init__(self)
        self.connect('destroy', Gtk.main_quit)
        GLib.timeout_add(2000, self.do_start)

    def do_start(self):
        print('MyWindow::do_start()')
        # The process need to be started from a separate thread
        # to prevent the main thread (which is the gui main loop)
        # from freezing while waiting for the process result.
        self.thread = MyThread(self.callback_thread_finished)
        self.thread.start()

    def callback_thread_finished(self):
        result = self.thread.result
        for r in result:
            print('{} {}...'.format(r[0], r[1][:10]))

if __name__ == '__main__':
    win = MyWindow()
    win.show_all()
    Gtk.main()

可能的副本，但与IMO完全不同，Thread._wait_for_tstate_lock() never returns没有答案。

解决方法

通过将第22行修改为queue = multiprocessing.Manager().Queue()，使用 Manager 解决了该问题。但是我不知道为什么。这个问题的目的是理解背后的内容，而不仅仅是使我的代码正常工作。甚至我真的不知道Manager()是什么，以及它是否还有其他（引起问题的）含义。

Answer 1

根据要链接的文档中的第二个警告框，当您加入一个进程，然后处理队列中的所有项目时，可能会出现死锁。因此，开始流程并立即加入流程，然后然后处理队列中的项目是错误的步骤顺序。您必须开始该过程，然后接收项目，然后，只有在收到所有项目后，才能调用join方法。定义一些哨兵值，以表明进程已完成通过队列发送数据。 None，例如，如果该值不是您期望的正常值。

class MyThread(threading.Thread):
    """This thread just starts the process."""

    def __init__(self, callback):
        threading.Thread.__init__(self)
        self._callback = callback
        self.result = []

    def run(self):
        print('Running MyThread...')
        queue = multiprocessing.Queue()
        process = MyProcess(queue)
        process.start()
        while True:
            process_result = queue.get()
            if process_result is None:
                break
            self.result.append(process_result)
        process.join()
        print('MyThread stoppd.')
        GLib.idle_add(self._callback)


class MyProcess(multiprocessing.Process):

    def __init__(self, queue):
        multiprocessing.Process.__init__(self)
        self.queue = queue

    def run(self):
        print('Running MyProcess...')
        for i in range(3):
            self.queue.put((i, 'x' * 102048))
        self.queue.put(None)
        print('MyProcess stoppd.')

具有大量数据的Multiprocessing.Queue导致_wait_for_tstate_lock

解决方法

1 个答案: