我建立了2个不同的模型,我想检查这2个模型是否犯了相同的错误(对相同的示例进行了错误分类)或犯了不同的错误。数据集中只有2个标签为正/负。
基本上我想要一个混淆矩阵
两个模型均正确预测了num个示例
模型A正确预测但模型B却错误了#个num示例B模型正确预测但模型A错误地预测了
#num个示例两个模型均正确的预测错误地
即例如,数据集中的示例#1由模型A正确预测,但由模型B错误地预测。示例#2被两个模型均错误预测,而示例#2被两个模型正确预测。 Byt“正确预测”,我的意思是标签是否为负面我预测为负面,标签是否为积极我预测为正面。
预期结果:
1|1|0|1
答案 0 :(得分:0)
提供的模型并不庞大,您可以将它们同时放入内存中,可以初始化两个模型(所有图层,权重等),在两个模型上加载训练后的值,然后设置一种测试方法来执行推断批次,并检查每个模型上的正/负。给定2个正/负向量对应于相同的测试值,您可以创建一个复合向量。
通过将正值视为 1 ,将负数视为 0 ,您可以执行以下操作:
vectorCompound = vectorModel1 + 2*vectorModel2
这样,您可以在vectorCompound
中收集值: