我有一个网络，训练期间亏损突然转坏。经过调查，我发现一个重量变成了NaN。我不知道的是，当我通过它运行数据（评估）时，输出不是NaN。为了确保重量实际上已连接到输出，我更改了其值，然后更改了输出。我要问的问题是：当我将权重从NaN更改为0.0时，我得到了相同的输出（与NaN相同，但与其他值不同）。这怎么可能？
答案 0 :(得分：0)
您可能只是过度训练了模型。通过越来越多的训练示例，您的错误将减少，损失函数的对数将接近负无穷大。此溢出可能导致权重变为NaN。尝试增加数量的训练样本进行训练，看看是否可以找到权重变为NaN的“临界值”。让我知道这是否有帮助！