验证准确性/损失是否会影响培训

Question

有一个关于caffe中验证集的简单问题，想知道验证集是否对培训有任何影响？我知道您使用验证集来检查网络是否过度拟合，并且据我所知，验证集对重量更新没有影响，但是它对选择或修改超参数有什么影响，还是仅供用户使用看到并估计网络学到了多少？

Answer 1

不，在训练期间神经网络不使用验证集的结果来调整任何超参数。在训练期间使用验证集与在某个时间点应用网络来预测验证集的值相同，然后评估它的效果。

您可能决定使用不同的超参数值来多次运行相同的网络训练过程。在其完全详尽的形式中，这意味着您将在超参数空间上进行网格搜索，其中包含许多不同网络的不同训练课程。在实践中，使用神经网络进行完全详尽的网格搜索并不是一个好主意，因为参数的数量可能非常大。

通常使用神经网络，您可以一次调整一个参数，直到它们看起来都是正确的＃34;。当然，这可能不会给你带来绝对的最佳结果，但它并不是一个糟糕的第一种方法。