训练精度稳步提高，但训练损失减少然后增加

Question

我训练了一个具有张量流（4301级）的人脸识别模型。培训过程如下（我已经抓住了培训过程的图表）： training accuracy training loss

训练精度稳步提高，然而，对于训练损失，它首先减少，然后在一定次数的迭代之后，它奇怪地增加。

我只是使用带有权重正则化器的softmax损失。我使用AdamOptimizer来减少损失。对于学习率设置，初始lr设置为0.0001，学习率将每7个epoc减少一半（总共380000个训练图像，批量大小为16）。我对验证集进行了测试（由8300个面部图像组成），验证准确率约为55.0％，远低于训练精度。

是否过度拟合？过度拟合会导致培训损失最终增加吗？

Answer 1

过度拟合是指您在训练和测试数据方面的表现出现分歧时 - 由于您仅报告培训表现，因此情况并非如此。

培训正在为您的损失运行最小化算法。当您的损失开始增加时，这意味着培训失败了应该做的事情。您可能希望更改最小化设置，以使您的训练损失最终收敛。

至于为什么你的准确度在你的损失开始出现后很长时间内持续增加，很难在不知道更多的情况下告诉你。一种解释可能是你的损失是不同术语的总和，例如交叉熵术语和正则化术语，并且只有后者发散。