我正在使用Mixture Density Network final layer提供的具有自定义损失函数的Keras模型(损失试图使某些高斯模型的负对数可能性最小化。)
让我感到困惑的是,有时损失会达到一个时代,在该时期它将-inf作为结果损失。然后,下一次迭代,损失将再次为数字(例如-2.1)。损失有时会在负无穷大和每隔一个纪元之间反弹。
很明显,负损失和零担损失是可以预期的,但是这种波动使我感到困惑。是什么解释了Keras中的这种行为?我的理解是-inf损失是由某个地方的数字下溢引起的,但是我不确定模型如何从中恢复,然后重新建立数字稳定性。
有人知道这是怎么回事吗?非常感谢其他人在这个问题上可以提供的任何建议。