Keras:损失在inf和数字之间波动

时间:2018-11-04 20:05:02

标签: python tensorflow keras precision numerical-stability

我正在使用Mixture Density Network final layer提供的具有自定义损失函数的Keras模型(损失试图使某些高斯模型的负对数可能性最小化。)

让我感到困惑的是,有时损失会达到一个时代,在该时期它将-inf作为结果损失。然后,下一次迭代,损失将再次为数字(例如-2.1)。损失有时会在负无穷大和每隔一个纪元之间反弹。

很明显,负损失和零担损失是可以预期的,但是这种波动使我感到困惑。是什么解释了Keras中的这种行为?我的理解是-inf损失是由某个地方的数字下溢引起的,但是我不确定模型如何从中恢复,然后重新建立数字稳定性。

有人知道这是怎么回事吗?非常感谢其他人在这个问题上可以提供的任何建议。

0 个答案:

没有答案