减少训练损失，稳定验证损失-模型是否过拟合？

Question

我的模型是否过拟合？如果验证损失大量增加，而训练损失减少，我将确定它是否适合。但是，验证损失几乎是稳定的，因此我不确定。你能帮忙吗？

Answer 1

• 我假设您使用的是不同的超参数？也许可以保存
  参数并使用一组不同的超参数恢复。
  此评论确实取决于您如何执行超参数
  优化。

• 尝试不同的训练/测试方式。这可能是特质的。

• 取决于训练模型和评估模型的成本， 考虑将模型打包，类似于随机森林的运行方式。 换句话说，让您的模型适合许多不同的训练/测试拆分， 并以多数为标准对模型输出求平均值 分类投票或预测概率的平均值。 在这种情况下，我会偏于稍微过拟合的模型， 因为平均可以减轻过度拟合的方式。但是我 也不会训练到死亡，除非你要非常适应 许多神经网络，并以某种方式确保您将它们解相关 类似于随机森林中随机子空间的方法。