CNN中完全连通参数的L2正则化

Question

在张量流的this示例中，它对完全连接的参数使用了L2正则化。：

regularizers = (tf.nn.l2_loss(fc1_weights) + tf.nn.l2_loss(fc1_biases) +
                  tf.nn.l2_loss(fc2_weights) + tf.nn.l2_loss(fc2_biases))

这是什么？为何使用完全连接的参数？以及它如何改善绩效？

Answer 1

一般而言，规范制定者是增加损失函数的术语，可防止模型过度拟合训练数据。他们通过鼓励学习模型的某些属性来做到这一点。

例如，

参数的L2正则化会鼓励所有参数变小，而不是 peaky 。这反过来会鼓励网络同等关注输入向量的所有维度。

维基百科page是对正则化的一个很好的介绍，你可以点击进一步深入了解L2正则化。