深度学习模型管道

Question

我正在一个项目上，它有5个不同的深度模型，如图所示。我想以某种方式执行管道，以使所有模型都可以流线化，而不必等待其他模型的所有输入图像的处理完成。同样在管道中，我偶尔需要关闭/打开某些模型。

我在sklearn中测试了管道的概念，我想使用相同类型的概念在生产中部署模型。如果您知道实现此目标的任何好方法，请寻求帮助。我所有的模型都在pytorch中。