标签: tensorflow
我为应用程序提供了4个单独的模型,当我进行推理时,我将这4个模型放在一张图中,以加快推理速度。但是这四个模型将顺序执行。我的GPU利用率是50%,GPU内存利用率是10%。因此,应该有足够的资源用于并行执行。这四个模型之间没有依赖性。
如何让这四个模型并行执行以最大化GPU利用率?