培训损失和验证损失的含义

Question

我使用以下MNIST示例：https://github.com/Lasagne/Lasagne/blob/master/docs/user/tutorial.rst

我读到了培训和验证损失。我知道验证丢失表示在经过训练的网络运行后验证图像集的错误，但这个数字的单位是多少？那么这个数字的确切含义是什么？

感谢您的帮助！

Answer 1

您提到的示例中的损失函数是分类交叉熵损失。分类交叉熵损失计算每个类的交叉熵损失并返回总和。

交叉熵损失= - sigma（在所有类别c上）Yc。 log（Pc）其中Yc是正确的类标签，Pc是0和1之间的预测概率。正如您所注意到的，如果对于一个类，标签为1且预测概率很小，则交叉熵损失将非常高并且副反之亦然。

cross entropy的单位是识别从集合中抽取的事件所需的“比特”数，如果使用针对“非自然”概率分布q优化的编码方案，而不是“真实的“分布p，给定两个概率分布p和q。

在深度学习的背景下，损失是一个缩放器值，它会在下一次迭代中反向传播以降低其值。