何时停止训练神经网络？

Question

我尝试使用RNN进行特定领域的分类研究，并累积了数千万条文本。由于运行整个数据集需要数天甚至数月，因此我只挑选了一小部分用于测试，比如1M文本（80％用于培训，20％用于验证）。我用文字矢量化预训练整个语料库，我还将Dropout应用于模型以避免过度拟合。当它在12小时内训练60000文本时，损失已经下降到相当低的水平，准确度为97％。我应该继续吗？是否有助于继续培训？

它仍在运行第一个时代，我担心如果我现在停下来，模型将无法覆盖整个......

Answer 1

作为一般经验法则，您可能希望让模型保持在训练阶段，直到验证开始下降几次连续迭代。在那之后，模型已经过度评估过度拟合数据。对于您的问题，由于需要很长时间来训练模型，我建议您在第一个时期之后停止训练并测试模型并确保代码中没有实施错误。如果模型具有可接受的准确度，则再次开始训练。