什么是NN中的火车损失,有效损失和火车/ Val均值

时间:2016-05-01 04:27:52

标签: machine-learning neural-network conv-neural-network recurrent-neural-network

我目前正在通过研究像MNIST示例这样的例子来学习卷积神经网络。在训练神经网络的过程中,我经常会看到输出:

 Epoch  |  Train loss  |  Valid loss  |  Train / Val
--------|--------------|--------------|---------------
    50  |    0.004756  |    0.007043  |     0.675330
   100  |    0.004440  |    0.005321  |     0.834432
   250  |    0.003974  |    0.003928  |     1.011598
   500  |    0.002574  |    0.002347  |     1.096366
  1000  |    0.001861  |    0.001613  |     1.153796
  1500  |    0.001558  |    0.001372  |     1.135849
  2000  |    0.001409  |    0.001230  |     1.144821
  2500  |    0.001295  |    0.001146  |     1.130188
  3000  |    0.001195  |    0.001087  |     1.099271

除了时代之外,有人可以给我一个关于每列代表什么以及这些值意味着什么的解释?我看到很多关于基本cnn的教程,但我没有遇到过详细解释这个问题的教程。

1 个答案:

答案 0 :(得分:16)

除了用于训练网络的数据外,似乎还在使用一组数据。训练损失是训练数据集的错误。验证丢失是通过受过训练的网络运行验证数据集后的错误。火车/有效是两者之间的比例。

出乎意料的是,随着时代的增加,验证和训练误差都会下降。但在某个时刻,虽然训练错误继续下降(网络更好,更好地学习数据),但验证错误开始上升 - 这是overfitting