如何将激活正则化添加到张量流层

Question

某些模型，如稀疏自动编码器，需要激活正则化 但我找不到一个规范激活图层的API。

有没有办法添加自定义的正规化器？ 或者是层激活tf.trainablevariables？

我知道张量流可以在权重上应用l2正则化

Answer 1

这实际上取决于你想要达到的目标：

• tf.contrib.layers.apply_regularization允许您合并一个正则化器和一组应用它们的张量。
• tf.contrib.layers.l2_regularizer允许您定义应该应用l2的范围。
• 但实质上，正则化器只是要添加到成本函数中的东西，因此您添加到成本函数中的任何函数（张量）都可以被视为正则化因子并将被考虑在内。