张量流中近似Adagrad优化器的正则化应用

Question

我一直在尝试使用Tensorflow的ProximalAdagradOptimizer函数中的l1_regularization_strength参数在Tensorflow中实现l1-regularization。 （我特意使用这个优化器来获得稀疏解决方案。）我有两个关于正则化的问题。

1. 优化器中使用的l1正则化是应用于神经网络的前向和后向传播还是仅适用于反向传播？
2. 有没有办法分解优化器，因此正则化仅适用于网络中的特定层？

Answer 1

1. 正规化既不适用于前向或反向传播，也适用于重量更新。

2. 您可以通过显式传递变量以最小化每个优化器，为不同的层使用不同的优化器。