对于tensorflow_probability层，“损失”属性是什么？

Question

TensorFlow概率层（例如DenseFlipout）具有“损失”方法，该方法获得“与该层关联的损失”。有人可以解释这些损失是什么吗？

编辑：浏览Flipout paper之后，我认为损失是指权重和偏差的前后分布之间的Kullback-Leibler背离。如果某人比我更了解这些事情，请纠正我。

Answer 1

感谢您的提问。尽管证据不足，但您的怀疑是正确的。请参见第一个示例here，其中将损失相加以获得KL项，对数似然项被单独计算并组合以形成ELBO。

您会看到损失here的增加，它通过一些间接指示揭示了{kernel,bias}_divergence_fn的使用，而默认情况下，该lambda则调用了{{ 1}}。

希望这会有所帮助！