如何异步处理双向 grpc 流

时间:2020-12-18 21:01:51

标签: python python-3.x network-programming grpc grpc-python

我有一个游戏,或者就此而言,任何带有服务器和多个客户端的远程用户界面都应该通过网络进行通信。 客户端和服务器都应该能够异步发送更新。

这似乎是一个很自然的服务定义,让我们grpc管理会话。

syntax = "proto3";

package mygame;

service Game {
    rpc participate(stream ClientRequest) returns (ServerResponse);
}

message ClientRequest {
    // Fields for the initial request and further updates
}

message ServerResponse {
    // Game updates
}

实现客户端是微不足道的(虽然下面的代码显然是不完整和简化的)。

class Client:
    def __init__(self):
        self.channel = grpc.insecure_channel("localhost:50051")
        self.stub = game_pb2_grpc.GameStub(channel)
        self.output_queue = queue.Queue()

    def output_iter(self):
        while True:
            client_output_msg = self.output_queue.get()
            self.output_queue.task_done()
            yield client_output_msg

    def do_work(self):
        for response in self.stub.participate(self.output_iter()):
            print(response)  # handle update


with grpc.insecure_channel("localhost:50051") as channel:
    client = Client()
    client.do_work()

在不阻塞的情况下实现服务器似乎很难。

class Game(game_pb2_grpc.GameServicer):
    def __init__(self):
        self.pending_events = queue.Queue()

    def participate(self, request_iter, context):
        for client_update in request_iter:
            print(client_update)
            # !!!
            # The next bit won't happen if the client has no updates
            # !!!
            try:
                while True:
                    server_update = self.pending_events.get_nowait()
                    yield server_update
            except queue.Empty:
                pass

server = grpc.server(ThreadPoolExecutor(max_workers=100))
game_pb2_grpc.add_GameServicer_to_server(Game(), server)
server.add_insecure_port("[::]:50051")
server.start()
server.wait_for_termination()

如代码中所述,如果客户端不不断发送请求,则它不会收到更新。 也许异步方法会更好,这也可能解决此设计中的其他问题。

PS:此问题已通过 go here 中的 grpc 解决,但是我不知道如何将其转换为 python grpc 实现。

我会很高兴得到任何帮助!

1 个答案:

答案 0 :(得分:1)

我终于能够使用 python asynio api 让它工作。 基本思想是使用asyncio.create_task将读写分离成两个协程。 对于任何感兴趣的人,这里有一个解决方案。

class Game(game_pb2_grpc.GameServicer):
    async def read_client_requests(self, request_iter):
        async for client_update in request_iter:
            print("Recieved message from client:", client_update, end="")

    async def write_server_responses(self, context):
        for i in range(15):
            await context.write(game_pb2.ServerResponse(dummy_value=str(i)))
            await asyncio.sleep(0.5)

    async def participate(self, request_iter, context):
        read_task = asyncio.create_task(self.read_client_requests(request_iter))
        write_task = asyncio.create_task(self.write_server_responses(context))

        await read_task
        await write_task


async def serve():
    server = grpc.aio.server()
    game_pb2_grpc.add_GameServicer_to_server(Game(), server)
    server.add_insecure_port("[::]:50051")
    await server.start()
    await server.wait_for_termination()


if __name__ == "__main__":
    asyncio.run(serve())

请注意,除了写入协程,yield 也足够了。