如何将多个请求作为微服务处理

Question

我目前必须使用1个RTX2080Ti GPU的硬件在5个摄像机流上检测人。我如何能够处理它们的存档实时约束。

我尝试使用mxnet yolo，发现当我将一批14张图像插入2个单独的yolo微服务中时，效果最好，每个微服务分别以〜30fps的速度进行存档=>我可以连续地将一批帧从2个流传输到1个yolo微服务的成本延迟了0.5秒。但是后来我仍然束手无策，我不知道如何将它们与其他人堆叠

我认为跳过帧是不可避免的，但是如何同步结果并将结果发回给每个请求者。 谢谢。