Question

我想用L1和L2正规化来正规化网络的权重。但是，我找不到独立改变正则化强度的方法。 Keras documentation也未提供任何信息。

因此，有没有办法在l1_l2正则化器中使用不同的优势？也许是实现相同结果的另一种方法？

我当前的模型很简单：

stren = 0.001
model = Sequential()
model.add(Dense(64, input_dim=148, activation='relu', kernel_regularizer=reg.l2(stren)))
model.add(Dense(1, activation='sigmoid', kernel_regularizer=reg.l2(stren)))

我希望能够有一些类似的东西：

kernel_regularizer=reg.l1_l2(l1_str, l2_str)

Answer 1

当然，您可以独立地改变regularizers的优势：

from keras import regularizers

regularizers.l1_l2(l1=0.001, l2=0.1) # the strength of l1 is set to 0.001 and l2 to 0.1

Answer 2

也许您可以尝试根据损失函数自定义正则化并在Keras框架中设计用户定义的正则化函数。像这样：

def l1_l2(l1=0.01, l2=0.01):
    return L1L2(l1=l1, l2=l2)

或在Dropout(0.2)等图层之间使用删除功能。

L1-L2正则化的不同系数

2 个答案: