我需要生产一个带有简单API端点的Tensorflow模型。该模型应该在进程/工作人员/线程之间共享，以免浪费太多的内存资源。
我已经尝试过使用多个gunicorn工人设置--preload选项并在定义资源之前加载模型，但是过了一会儿我收到超时错误。该模型没有响应。我知道有为此目的可用的Tensorflow服务服务，但问题在于以下事实：在部署时该模型仍然不可用，并且ML管道由许多不同的组件组成（Tensorflow模型只是这些组件之一） ）。最终用户（客户）是训练/保存模型的人。 （我正在使用docker）预先感谢