如何解释损失和准确性的增加

Question

我使用tensorflow运行深度学习模型（CNN＆＃39; s）。在这个时代，我已经多次观察到损失和准确性都有所增加，或两者都有所减少。我的理解是两者总是成反比关系的。什么可能是同时增加或减少的情况。

Answer 1

随着训练过程的进行，损失减少，除了小批量梯度下降引起的一些波动和/或辍学等正规化技术（引入随机噪声）。

如果损失减少，培训过程进展顺利。

（验证我认为）准确性，而不是衡量模型预测的好坏程度。

如果模型正在学习，则准确度会提高。如果模型过度拟合，则精度会停止增加甚至开始减少。

如果损失减少且准确度降低，则您的模型过度拟合。

如果损失增加且精度提高也是因为你的正则化技术运作良好并且你正在应对过度拟合问题。只有当损失开始减少而精度继续增加时，才会出现这种情况。 否则，如果损失不断增加，您的模型就会出现分歧，您应该寻找原因（通常您会使用过高的学习率值）。

Answer 2

我想在这里为所有目前正在接受模型训练的人们提供一个可能的选择。

如果您的验证数据有点脏，您可能会遇到在训练开始时验证损失以及准确性较低的问题，并且您对网络进行的训练越多，准确性就越高，损失也随之增加。之所以发生这种情况，是因为它发现了脏数据的可能异常值，并在那里造成了极高的损失。因此，随着正确地猜测更多数据，您的准确性将会提高，但是损失会随之增加。

Answer 3

这正是我根据损失和准确性背后的数学计算得出的结论，

注意：-

我希望您的数据是分类数据

您的模型输出：-

[0.1,0.9,0.9009,0.8]（用于计算损失）

最大输出：-

[0,0,1,0]（用于计算 acc ）

预期输出：-

[0,1,0,0]

让我们澄清一下损失和acc计算的内容：

损失：- y 和 ypred 的总体误差

Acc :- 只要 y 和 maxed(ypred) 相等

所以总的来说，我们的模型几乎完美，导致低损失

但是在最大输出中没有看到整体，只是它们应该完全匹配，

如果它们完全匹配：-

1

其他：

0

因此也导致了低准确率

尝试检查模型的 mae

去除正则化

检查您是否使用了正确的损失

Answer 4

我认为评分最高的答案是错误的。

我假设您正在谈论交叉熵损失，可以将其视为“惊奇”的量度。

训练数据的损失和精度同时增加/减少，并不能告诉您模型是否过度拟合。这只能通过比较验证数据与训练数据的损失/准确性来确定。

如果损失和准确性都在降低，则意味着您的模型对正确的预测越来越有信心，对模型的错误预测也越来越不自信，或者两者都有，因此损失减少了。但是，它总体上也会做出更多不正确的预测，因此准确性下降。反之亦然，如果两者都在增加。这就是我们只能说的。