RNN LSTM中的验证数据不会降低标签错误率

Question

我正在使用this link来构建语音识别器。运行之后，我可以看到，在200个时期之后，训练标签错误率降低了1.023到0.085，但验证标签错误率仅从1.347降低到0.843。之后，验证标签错误率不再降低。

任何人都可以建议网络结构的任何变化或超参数的变化，以提高验证标签错误率吗？

Answer 1

我认为你只是过度拟合。网络学习训练集的微小细节（通常只是统计波动），然后无法概括，即验证集上的损失不再减少。您可以尝试降低模型的复杂性，以减少过度拟合，但最终会发生。当验证损失再次开始增加时，提前停止将帮助您停止训练。你也应该尝试辍学，也许l1或l2正规化。这可能有助于减少过度拟合，但你可能不会完全摆脱它。

有了所有这些东西，你必须要小心！如果调整超参数以减少验证集上的错误，通常会降低模型的泛化能力。您可能需要一个测试集，该测试集仅在训练和调整超参数之后的最后使用，以测试您是否已经失去了这种概括的能力。