我添加了内置的规范化器tf.contrib.layers.l2_regularizer
:
regularizer = tf.contrib.layers.l2_regularizer(scale=0.1)
layer1 = tf.layers.dense(tf_x, 50, tf.nn.relu, kernel_regularizer=regularizer)
layer2 = tf.layers.dense(layer1, 50, tf.nn.relu, kernel_regularizer=regularizer)
output = tf.layers.dense(layer2, 5, tf.nn.relu)
我为scale
(0.1-1)尝试了不同的值,但它似乎没有做太多。我想知道是否必须在其他位置(即优化器,火车等)添加正则化器,或者这是否仅仅是由于我的数据。
我没有调整我的代码中的任何其他位置,然后在上面的tf.layers
中调整正则化器。