为什么我们在L2正则化中添加偏差项？

Question

我想了解这里如何实现l2正则化。在l2正则化中，我们在损失函数中添加一个权重平方。但在此代码中，我们还添加了偏见术语。为什么会这样？

`x = tf.placeholder(tf.float32, [None, nPixels])
W1 = tf.Variable(tf.random_normal([nPixels, nNodes1], stddev=0.01))
b1 = tf.Variable(tf.zeros([nNodes1])
y1 = tf.nn.sigmoid(tf.matmul(x, W1) + b1)
W2 = tf.Variable(tf.random_normal([nNodes1, nLabels], stddev=0.01))
b2 = tf.Variable(tf.zeros([nLabels]))
y = tf.matmul(y1, W2) + b2
y_ = tf.placeholder(tf.float32, [None, nLabels])
l2_loss = tf.nn.l2_loss(W1) + tf.nn.l2_loss(b1) + tf.nn.l2_loss(W2) + 
tf.nn.l2_loss(b2)
cross_entropy = 
tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(labels=y_, logits=y))    
regularized_cross_entropy = cross_entropy + beta * l2_loss`

Answer 1

这种偏差与我们在l2正则化中使用的不同。 这是我们在神经网络中添加的偏差，以保持该值不等于零。