我目前正在通过研究像MNIST示例这样的例子来学习卷积神经网络。在训练神经网络的过程中,我经常会看到输出:
Epoch | Train loss | Valid loss | Train / Val
--------|--------------|--------------|---------------
50 | 0.004756 | 0.007043 | 0.675330
100 | 0.004440 | 0.005321 | 0.834432
250 | 0.003974 | 0.003928 | 1.011598
500 | 0.002574 | 0.002347 | 1.096366
1000 | 0.001861 | 0.001613 | 1.153796
1500 | 0.001558 | 0.001372 | 1.135849
2000 | 0.001409 | 0.001230 | 1.144821
2500 | 0.001295 | 0.001146 | 1.130188
3000 | 0.001195 | 0.001087 | 1.099271
除了时代之外,有人可以给我一个关于每列代表什么以及这些值意味着什么的解释?我看到很多关于基本cnn的教程,但我没有遇到过详细解释这个问题的教程。
答案 0 :(得分:16)
除了用于训练网络的数据外,似乎还在使用一组数据。训练损失是训练数据集的错误。验证丢失是通过受过训练的网络运行验证数据集后的错误。火车/有效是两者之间的比例。
出乎意料的是,随着时代的增加,验证和训练误差都会下降。但在某个时刻,虽然训练错误继续下降(网络更好,更好地学习数据),但验证错误开始上升 - 这是overfitting
!