在GPU上运行多个深度学习模型时如何进行优化

Question

我正在构建同时处理五个流的系统。当我运行多个深度学习模型以处理这些流然后大大降低速度时，我遇到了问题。因此，如果您习惯这样设计系统。请向我评论一些建议。

Answer 1

我会考虑在单独的机器上运行多个深度学习模型。否则，您将总是让他们争夺RAM，CPU时间，HDD等共享资源，而您将无法获得最佳性能。