我想将一些模型加载到flask应用程序中。模型是使用joblib.dump()创建的。 在对服务器的每个请求中,将有一个来自单个模型的预测(我正在寻找并行性)。
例如:
#load models on startup
model_01 = joblib.load("/models/basic/v1/model.joblib")
model_02 = joblib.load("/models/basic/v2/model.joblib")
model_03 = joblib.load("/models/basic/v3/model.joblib")
#then use the relevant model per request like this
@app.route('/model/<version>', methods=['GET'])
def predict(version):
result = model_01.predict_proba(data) if (model="v1") else "error"
result = model_02.predict_proba(data) if (model="v2") else result
result = model_03.predict_proba(data) if (model="v3") else result
return result
在单个python应用程序中加载几个模型是否安全?模型是否会覆盖任何隐藏的共享内存/状态?
谢谢