增加重量衰减值表现出最差的表现

Question

我正在进行二进制分类。我创建了我的网络： Conv1，Relu1，Pool1 - Conv2，Relu2，Pool2 - Conv3，Relu3，Pool3 - Conv4，Relu4 - Conv5 Relu5 Dropot 0.5，FC，Dropout 0.5 - SoftmaxlossLayer

所有转化层都是3x3。

默认Weightdecay为0.0005。我得到了这个结果。 训练准确率：98％ 测试准确度：88％

然后使用相同的网络和Weightdecay 0.005

任何人，请帮助我通过改变重量衰减值来分享它为什么会这样显示？

Answer 1

重量衰减会影响模型的复杂性，因此它会用来控制模型与偏差的差异。显然，如果你过分惩罚复杂性，模型将不会学到任何有用的东西，因为它太简单了。

对于其他规范神经网络的方法，您可以看到notes for Hinton's Coursera course。