如何为预训练模型应用烧瓶缓存?

时间:2021-04-13 09:02:07

标签: python flask caching flask-restful flask-caching

我有一个flask_restful api。我将结构分为几个部分,例如:

    app:
     -api.py
     -resources
       --resource1.py
       --resource2.py

resource1 文件的结构如下:

class Func(Resource):
    def __init__(self):
        model = some_module.from_pretrained("xyz")
        model.eval()
        model.to(self.device)
        self.model = model
    def post(self):
        #taking some input to be eavaluated
        output = fun1(self.model, input//) //fun1 is already defined function 
        return processed output

api 文件是这样的:

#importing requirements
app = Flask(__name__)
api = Api(app)
cache.init_app(app)
api.add_resource(Func, '/output')
if __name__ == "__main__":
    app.run(port='5000', debug = True)

我想为模型使用缓存。我关注了几篇文章,但我无法正确实现它,所以如果有人能给出解决方案,那将会很有帮助。

0 个答案:

没有答案