如何避免过度训练导致的反复神经网络？

Question

我使用递归神经网络进行预测。我该怎样避免过度训练？我已经使用渐变体面来进行参数更新。下图显示了500纪元training and validation error

的培训和验证错误

Answer 1

有一些策略可以帮助防止过度拟合：

1. 正则化。您可以添加丢失或对权重使用L1或L2正则化。
2. 使用较小的模型（即参数较少）
3. 为数据添加随机噪音
4. 添加培训数据（如果您无法获得更多自然数据，您可以合成生成它）
5. 尽早停止使用。这只是意味着在开始过度训练之前停止训练。

一种典型的方法是：使用大型模型，并使用dropout，也可能使用L2。尝试使用几个不同的正则化量值，并使用最好的值。在训练时监视验证错误，并选择最低（早期停止）的模型。