Question

是否有书或教程说明如何正确使用asyncio的协议？ Web上的所有示例都将IO混合到协议定义中！

我想编写一个解析器，它执行帧解码并将消息转换为python数据结构。一旦解析了这个数据结构，我想将它传递给客户端。

[       ]-->[*protocol parser*]-->[high level api]-->[           ]
[network]                                            [client code]
[       ]<--[*protocol parser*]<--[high level api]<--[           ]

相应地，更高级别API的客户端传入python数据结构，高级API提供数据结构将其传递给我的protocl，后者将其转换为正确的字节/文本表示并将其传递给传输层

我假设这是首先抽象出Protocol类的目的。我不想在协议中回应连接的另一面，但这是大多数网络教程显示的内容！

此外，我想了解python世界中提供哪种高级接口，是回调，流接口还是别的什么？

Answer 1

我想编写一个解析器，它执行帧解码并将消息转换为python数据结构。一旦解析了这个数据结构，我就想把它传递给客户端。
[       ]-->[*protocol parser*]-->[high level api]-->[           ]
[network]                                            [client code]
[       ]<--[*protocol parser*]<--[high level api]<--[           ]
相应地，更高级别API的客户端传入python数据结构，高级API提供数据结构将其传递给我的protocl，后者将其转换为正确的字节/文本表示并将其传递给传输层

您可以从两个不同的角度来处理协议实现：

使用低级 asyncio.Protocol。为此，我们有两个API：loop.create_server和loop.create_connection。前者用于创建可以暴露给网络并接受客户端连接的服务器（例如HTTP服务器）。后者可用于实现客户端（例如API客户端，数据库驱动程序等）。

Protocol的核心思想非常简单：一旦建立连接，它就可以实现一个connection_made()方法，由loop.create_server或loop.create_connection调用。该协议将接收Transport对象的实例，可用于将数据发送回客户端。

它还可以实现data_received()方法，当有要处理的传入数据时，它将由事件循环调用。一般方法是为正在实现的协议编写缓冲区抽象，可以解析数据。一旦缓冲区有足够的数据进行解析和处理，您可以将结果放入asyncio.Queue或安排一些asyncio任务。例如：

class MyProtocolBuffer:
    """Primitive protocol parser"""

    def __init__(self):
        self.buf = b''  # for real code use bytearray
                        # or list of memoryviews

    def feed_data(data):
        self.buf += data

    def has_complete_message(self):
        # Implement your parsing logic here...

    def read_message(self):
        # ...and here.


class MyProtocol:
    def __init__(self, loop, queue: asyncio.Queue):
        self.buffer = MyProtocolReadBuffer()

    def data_received(self, data):
        self.buffer.feed_data(data)
        while self.buffer.has_complete_message():
            message = self.buffer.read_message()
            queue.put_nowait(message)


async def main(host, port):
    queue = asyncio.Queue()

    loop = asyncio.get_event_loop()       
    transport, protocol = await loop.create_connection(
        lambda: MyProtocol(loop, queue),
        host, port)

    try:
        while True:
            message = await queue.get()
            # This is where you implement your "high level api"
            # or even "client code".
            print(f'received message {message!r}')
    finally:
        transport.close()


loop = asyncio.get_event_loop()
try:
    loop.run_until_complete(main(host, port))
finally:
    loop.close()

请注意，这是一个低级别的asyncio API。它旨在供框架和库作者使用。例如，asyncpg，一个高性能的asyncio PostgreSQL驱动程序使用这些API。

您可以在此处详细了解协议：https://docs.python.org/3/library/asyncio-protocol.html#protocols。成功使用这些API的一个很好的例子是asyncpg库：https://github.com/magicstack/asyncpg。

使用高级 asyncio流。 Streams允许您使用async / await语法实现协议。两个主要API：asyncio.open_connection()和asyncio.start_server()。让我们使用open_connection()：

重新实现上面的示例

async def main():
    reader, writer = await asyncio.open_connection(host, port)

    message_line = await reader.readline()
    # Implement the rest of protocol parser using async/await
    # and `reader.readline()`, `reader.readuntil()`, and
    # `reader.readexactly()` methods.

    # Once you have your message you can put in an asyncio.Queue,
    # or spawn asyncio tasks to process incoming messages.

    # This is where you implement your "high level api"
    # or even "client code".

loop = asyncio.get_event_loop()
try:
    loop.run_until_complete(main(host, port))
finally:
    loop.close()

我建议始终使用流程草拟您的某些协议的第一个实现，特别是如果您不熟悉网络和asyncio。您可以使用低级API构建更快的代码，使用流的错误可以更快地获得工作程序，并且代码库将更易于维护。理想情况下，您应该坚持使用async / await和高级asyncio API。

是否有一本书或教程显示如何正确使用asyncio的协议？

1 个答案: