在用Keras训练YOLOv3之后，我生成了一个.pb模型来冻结该季节，我的输出是方框和得分（没有进行非最大抑制）。因此，推断模型可达到25 FPS。我使用从源（C ++）构建的Tensoflow运行该模型。
问题从这里开始。到目前为止，我只用一个摄像头输入模型，让TensorFlow使用所有GPU的内存（GTX 1070）。但是，我想使用不同的网络摄像头并行运行两个Yolov3。
我一直在使用set_per_process_gpu_memory_fraction进行测试，并且可以运行两个，三个，四个实现。但是，帧速率下降了正在运行的线程数。
所以我的问题是：是否可以并行运行同一模型的多个实例？即使运行三种或四种实施方式，GTX 1070仍可保持50％至70％的使用率（显然是因为帧是顺序输入DNN的）
我不知道TensorFlow服务可以是一种选择还是类似的选择。当我从不同的视频输入接收帧并且想实时工作时，我想我不能使用不同于1的批处理大小。
谢谢！