Question

如何使两个对象连接到一个圆形（最好是动态调整大小）缓冲区，该缓冲区可以视为管道或套接字的两侧？即一个对象可以从某个fifo缓冲区读取并关闭读取侧，另一对象可以在其中写入并关闭写入侧。我不需要任何轮询/选择功能。

一个进程，一个线程。不涉及IPC或同步。（这已经单独实现。）

它们应该用作来自其他来源的数据的适配器，这些来源不是类似于文件的对象，但可以表示为流。

如果我用手写的东西，我会觉得自己发明了一个轮子。

也许8 depth模块的某些类组合可以达到目的。那里有跨平台的OS级fifo / pipe对象吗？

解决方案必须提高存储效率。

Answer 1

不是很有效，但是就在这里。

from collections import deque


class AlreadyClosed(Exception):
    pass


class NothingToRead(Exception):
    pass


def make_pipe():
    queue = deque()

    class Reader(object):
        closed = False

        @staticmethod
        def read():
            if Reader.closed:
                raise AlreadyClosed()
            if Writer.closed:
                return b''
            try:
                return queue.popleft()
            except IndexError:
                raise NothingToRead()

    class Writer(object):
        closed = False

        @staticmethod
        def write(chunk):
            if Writer.closed:
                raise AlreadyClosed()
            if Reader.closed:
                return 0
            queue.append(chunk)
            return len(chunk)

    return Reader, Writer


if __name__ == '__main__':
    r, w = make_pipe()
    w.write(b'qwe')
    w.write(b'asd')
    print(r.read())
    print(r.read())
    try:
        print(r.read())
    except NothingToRead as e:
        print(repr(e))

Answer 2

具有真实文件句柄（甚至可以用于子进程）的真正的跨平台管道是multipricessing.Pipe并使用其文件描述符：

import multiprocessing 
import os

conn_out, conn_in = multiprocessing.Pipe(duplex=False)
os.write(conn_in.fileno(), b'Hello.')
print(os.read(conn_out.fileno(), 10))

请注意，方法multipricessing.Pipe.send和multipricessing.Pipe.recv使用字节操作，方法multipricessing.Pipe.send_bytes和multipricessing.Pipe.recv_bytes添加标头。

纯python字节管道

2 个答案: