验证损失曲线平坦且训练损失曲线高于验证误差曲线

Question

我正在建立一个用于预测感觉的LSTM模型。我的数据集大约有248000条数据，我使用24000（约10％）作为验证集，其他是训练集。我的模型学习曲线如下： learning curve

从头开始，验证错误始终为0.00002，在第20个阶段，训练错误降低至0.013533。

我已仔细阅读以下内容：https://machinelearningmastery.com/learning-curves-for-diagnosing-machine-learning-model-performance/

我的验证集不具有代表性吗？解决方案是否使用更大的验证集？

Answer 1

首先，您的基本概念可能非常简单，这导致早期的验证错误极低。其次，您的数据扩充使学习变得更加困难，从而产生更高的训练错误。

但是，在您的情况下，我仍然会进行一些实验。首先：将数据除以10/90而不是90/10，然后查看验证错误如何变化-希望您会看到（现在更短和更难）历元之间的某种曲线。其次，我将在训练之前（或在一批之后）进行验证，以产生随机结果。