我的损失首先在几个时期减少但随后开始增加然后增加到某一点然后停止移动。我想现在已经融合了。现在，我们可以说我的模型不合适吗？因为我的解释是（幻灯片93 link），如果我的损失下降然后增加它意味着我有很高的学习率，并且在每两个时期之后我就会腐烂，因此在几个时代之后损失停止增加，因为现在学习率很低，因为我仍在衰退我的学习率，现在损失应该再次开始下降，根据幻灯片93，因为学习率很低，但事实并非如此。我们可以说损失没有进一步减少，因为我的模型不合适吗？
答案 0 :(得分：2)
总而言之，培训数据的损失：
对我来说，听起来学习率最初太高了，之后就陷入了局部最低限度。一旦它已经陷入局部最低限度，那么在此时衰减学习率并不会帮助它逃脱这个最低限度。将初始学习率设置为较低的值更有可能是有益的，这样您就不会陷入“糟糕”的状态。最低限度的本地开始。
您的模型现在可能不适合，并且使模型更复杂（例如，隐藏层中的更多节点）会有所帮助。但情况并非如此。
您是否使用任何技术来避免过度拟合？例如，正规化和/或退出？如果是这样，您的模型最初也可能过度拟合（当损失减少时，再次恢复之前）。为了更好地了解正在进行的操作，不仅可以绘制您在训练数据上的损失，还可以绘制验证集上的损失。如果您的培训数据损失大大低于验证数据的损失，您就会知道它过度拟合。