辍学适用于Keras中的正则化术语吗？

Question

我有一个自定义的正则化术语my_reg。

model = Sequential()
model.add(Dense(128, activation='relu'))
model.add(Dense(64, activation='relu'))
# The last layer is regularized with a custom regularizer
model.add(Dense(10, activation='softmax', W_regularizer=my_reg))
model.add(Dropout(0.5))

在培训过程中，Dropout(0.5)是否也适用于my_reg？如果没有，我该如何使其成为现实？预先感谢！

Answer 1

Dropout的工作原理是丢弃神经元，将其激活设置为零，因此从概念上讲，这也会影响与该神经元相关的权重，您可以将其视为“应用于”任何正则化项，但请注意，权重从未明确设置设为零，因此对正则化系数的影响几乎没有变化。