如何停止在Python中命名管道上阻塞的线程?

时间:2018-12-09 23:29:55

标签: python-3.x multithreading pipe named-pipes blocking

我有一个继承threading.Thread的类。唯一的责任就是将从UNIX命名管道读取的消息放入queue.Queue对象(以便其他线程以后可以处理这些值)。

示例代码:

class PipeReaderThread(Thread):
    def __init__(self, results_queue, pipe_path):
        Thread.__init__(self)
        self._stop_event = Event()
        self._results_queue = results_queue
        self._pipe_path = pipe_path

    def run(self):
        while not self._stop_event.is_set():
            with open(self._pipe_path, 'r') as pipe:
                message = pipe.read()
            self._results_queue.put(message, block=True)

    def stop(self):
        self._stop_event.set()

如您所见,我想使用threading.Event对象停止循环,但是由于对命名管道的open()read()调用将阻塞(直到有人打开管道)进行写入/写入然后关闭它),线程永远不会停止。

我不想对命名管道使用非阻塞模式,因为阻塞实际上是我想要的东西,在某种意义上,我想等待有人打开并写入管道。

对于套接字,我会尝试在套接字上设置超时标志之类的方法,但是找不到用于命名管道的任何方法。 我还考虑过只是在冷血中杀死线程,而没有给予它优雅停止的机会,但这确实不像我应该做的事情,而且我什至不知道Python是否提供任何方式来做到这一点

如何正确停止该线程,以便以后可以调用join()

1 个答案:

答案 0 :(得分:4)

执行此操作的经典方法是使用未命名的管道来指示关闭,并使用select来确定要使用哪个管道。

select将阻塞,直到其中一个描述符可供读取为止,然后您可以使用os.read,在这种情况下不会阻塞。

演示代码(不处理错误,可能会泄漏描述符):

class PipeReaderThread(Thread):
    def __init__(self, results_queue, pipe_path):
        Thread.__init__(self)
        self._stop_pipe_r, self._stop_pipe_w = os.pipe()
        self._results_queue = results_queue
        self._pipe = os.open(pipe_path, os.O_RDONLY) # use file descriptors directly to read file in parts
        self._buffer = b''

    def run(self):
        while True:
            result = select.select([self._stop_pipe_r, self._pipe], [], [])
            if self._stop_pipe_r in result[0]:
                os.close(self._stop_pipe_r)
                os.close(self._stop_pipe_w)
                os.close(self._pipe)
                return
            self._buffer += os.read(self._pipe, 4096) # select above guarantees read is noblocking
            self._extract_messages_from_buffer() # left as an exercise

    def stop(self):
        os.write(self._stop_pipe_w, b'c')