解决VAE中的爆炸梯度

Question

如何解决深度生成模型（VAE）中的爆炸梯度？

NB：数据集在列中包含很多NaNs值

Answer 1

我不确定VAE的爆炸梯度是否很典型。这可能是您代码中的另一个问题。但是，爆炸梯度通常通过梯度裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

cliping_threshold等于1的地方。

Answer 2

默认情况下，VAE 无法处理丢失的数据。首先清理您的数据或尝试应用一些方法来处理丢失的数据，即：

https://arxiv.org/abs/2006.05301