tensorflow:在推理时将4个模型放在1个图中,模型将顺序执行而不是并行执行

时间:2018-08-29 08:45:57

标签: tensorflow

我为应用程序提供了4个单独的模型,当我进行推理时,我将这4个模型放在一张图中,以加快推理速度。但是这四个模型将顺序执行。我的GPU利用率是50%,GPU内存利用率是10%。因此,应该有足够的资源用于并行执行。这四个模型之间没有依赖性。

如何让这四个模型并行执行以最大化GPU利用率?

enter image description here

0 个答案:

没有答案