您如何评估已在生产中部署的ML模型？

Question

所以要更清楚地考虑贷款违约预测的问题。 假设我已经训练并测试了离线多个分类器并将它们整合在一起。然后我把这个模型投入生产。

但是，由于人们的变化，数据和许多其他因素也会发生变化。我们模型的性能最终会降低。那么它需要被新的更好的模型所取代。

常用技术，模型稳定性测试，模型性能测试，部署后的指标有哪些？如何决定何时用更新的模型替换当前模型？

Answer 1

它依赖于问题（分类，回归或聚类），假设您有分类问题，并且如果准确度显着小于75％，比您可以采用模型并查看正在发生的事情。

在我的情况下，我注意到模型在生产中每天生产一周的准确性，之后我计算一个平均值和一个准确度的方差，我应用平均值的T检验，看看这个准确性是否是与所需的准确度显着不同。

希望有所帮助