为什么tensorflow的AdamOptimizer实现不支持L2规范化

Question

Tensorflow对AdamOptimzer的实现没有ProximalAdamOptimizer中的正则化参数，例如l2_regularization_strength，是否有必要在AdamOptimzer中添加l2范数？

Answer 1

Tensorflows Adam实现就是：Adam的一种实现方式，完全是如何在论文中定义和测试的。

如果你想将Adam与L2正则化用于你的问题，你只需要为你的损失添加一个L2正则化项，你可以选择一些正则化强度。

我无法告诉你这是否有必要或有用，或者使用正规化和正则化强度，因为这在很大程度上取决于问题并且相当主观。

Answer 2

通常你会自己将正则化添加到损失中，就像here所描述的那样。但是tf.train.ProximalAdagradOptimizer包含一个特殊的非标准正则化，它是算法的一部分，因此也是tf.train.ProximalAdagradOptimizer的一部分。