标签: python docker deep-learning containers nvidia
我想使用nvidia docker和容器,所有容器都独立运行一些深度学习代码,因此在加载gpu内存后,我需要在所有容器之间共享模型推断,以减少内存使用。
所以可能的问题是:将模型加载到gpu内存后,我可以在容器之间共享模型推断(我使用tensorflow,tensorrt和keras)吗?
在没有容器的情况下,我可以得到相同的执行时间推断吗? 容器之间加载后如何共享推理模型。