作为神经网络中超参数的迭代次数

Question

如何确定学习神经网络的最佳迭代次数？

Answer 1

一种方法是将训练数据分为训练和验证集。在训练过程中，训练集上的误差应逐渐减小。验证集上的错误将减少，并在某个时候再次开始增加。此时，网络开始过度适合训练数据。这意味着该模型可以适应数据中的随机变化，而不是学习真正的规律性。您应该保留总体验证错误最低的模型。这称为Early Stopping。 或者，您可以使用Dropout。具有足够高的辍学概率，您基本上可以根据需要进行任意长时间的训练，而过拟合不会成为大问题。