如何在不同的芹菜任务工作者中共享张量流模型

Question

我正在做一些NLP工作，并且有Tensorflow培训的模型。我提供了一些API来使用这些模型完成切词并通过Celery调度请求。

案例是：

Celery会将任务分派给不同的工作人员（约4-5人），因此每个工作人员必须加载上面的模型，因此记忆将被占用很多。

那么在工人之间分享模型的方法是什么？我实际上并不了解芹菜工人的潜在机制。

由于

Answer 1

您可以查看为您的模型提供gRPC API的Tensorflow Serving。它支持batching，听起来就像你想要做的那样。如果您出于某种原因确实需要芹菜（例如在后台运行这些任务），您可以从芹菜任务中调用Tensorflow服务API。