TensorFlow中的正则化器中的缩放代表什么？

Question

我的问题是scale代表什么：

tf.contrib.layers.l2_regularizer( scale, scope=None)

这里是文档的link。

Answer 1

scale参数定义正则化应该产生的影响。规模越大，罚款越高，对正则化期限的影响越大。

重要说明：

通过引入l2正则化，您添加了另一个超参数（比例尺），该参数也应进行优化。

Answer 2

我认为比例为lambda/n。 n是您的数据量。

从 tensorflow / contrib / layers / python / layers / regularizers.py 中的源代码中，我们可以在第107行中找到return standard_ops.multiply(my_scale, nn.l2_loss(weights), name=name)。my_scale只是规模张量。我们知道nn.l2_loss()计算出一个没有sqrt的张量的L2范数的一半。换句话说，nn.l2_loss()的输出是sum(t ** 2) / 2。

现在我们可以找到小数位数为lambda/n。