损耗曲线和度量曲线之间的不一致?

时间:2018-08-17 13:48:00

标签: deep-learning

我最近训练了一个分类模型来识别动作。一切正常,但是损耗曲线和精度曲线之间存在一些不一致之处。 损失图中的蓝色是测试损失;紫色的是训练损失。在指标图中,绿色曲线表示训练的准确性;蓝色是测试准确性。

我们可以看到,虽然测试损失趋势趋于恶化,但测试准确性并没有恶化。这使我感到困惑。深度学习是否正常?有什么解释吗?

enter image description here

1 个答案:

答案 0 :(得分:2)

XY问题

最重要的是训练和测试准确性之间的差异:您似乎严重过拟合。在大约1k(迭代次数?)的某个地方,您的测试指标(损耗和准确度)大致达到了水平,而培训继续符合培训设置。在进行2k迭代之前,差异表明您的模型不再对通用有效。

实际问题

准确性是预测分类是否正确的实际问题。这是一个简单的指标:是/否。 51%的信心=>是; 99%的自信=>是。

您的模型达到了大约65%的精度,并且趋于平稳。

损失是预测距离的内部指标。肯定的51%的错误预测只有51%的错误,但是99%的错误的预测几乎是两次错误。这会导致反向传播。

有了这个数据集,当您的模型符合训练集的要求时,其对测试集的 binary 预测仍然大致相同,但是其信心远非二进制正确性。它可能不太确定正确的答案,和/或更确定其错误的预测。两者都会将损失函数推高。