标签： tensorflow tensorflow-gpu
查看cuda后端的tensorflow，看起来计算是在单个cuda流上同步的（我觉得这很有意义）。
这表明可以在两个不同的张量流模型上同时运行推理，共享相同的gpu。他们每个人都有自己的cuda流并独立执行。
这实际上是支持的用例吗？特别是，我很好奇（1）这是否有效，（2）是否有任何性能问题。
显然，如果两个模型共享相同的计算资源，延迟可能会略高一些，但我很好奇，如果张量流中有任何假设会导致更严重的性能损失。
谢谢！