爱德华的权重的L2正则化

Question

我试图了解如何将正则化与Edward models一起使用。我仍然对tensorflow（用作Edward的后端）不熟悉。考虑下面的模型，

# prior
w=Normal(loc=tf.zeros((d,c)),scale=tf.ones((d,c)))

# likelihood
y=Categorical(logits=tf.matmul(X,w))

# posterior
loc_qw = tf.get_variable("qw/loc", [d, c])
scale_qw = tf.nn.softplus(tf.get_variable("qw/scale", [d, c]))
qw = Normal(loc=loc_qw, scale=scale_qw)

# inference 
inference = ed.KLqp({w: qw, b: qb}, data={X:train_X, y:train_y})

我注意到爱德华在loss function中使用了正则化损失。 loss = -(p_log_lik - kl_penalty - reg_penalty)

但是，我不知道如何将正则化损失应用于Edward模型。我们如何在上述模型中添加L1或L2正则化？

谢谢！

Answer 1

我知道Normal优先级等于l2正则化。成像，如果先验不正常并且是否要规范化随机优化过程中正在尝试估算的参数。

我发现可以使用后验tf变量的正则化参数来实现。

loc_qw = tf.get_variable("qw/loc", [d, c], regularizer=tf.contrib.layers.l2_regularizer(reg_scale) )