我正在调整我为神经网络所包含的输入,我正在进行分类工作。对于我到目前为止使用的许多组合,它经历了1000次迭代(在我的设置中允许的最大值)。
我尝试过的新输入组合之一是在20-50次迭代后一直停止。准确性方面,它表现得更好(仍然不是很好,但平均来说有点好,而且更加一致)。
我如何最好地解释这个?那些其他组合中包含的输入分散了系统的注意力?如果两个网络的准确度相似,但是一个在20次迭代后停止,而另一个使用最大允许值则是前者优越吗?
答案 0 :(得分:0)
如果它使用更多的迭代(也称为“时代”)而不是花费更少的时间来构建神经网络,那么没有什么可说的。对于某些原因可能已经足够了,但是一旦建立了模型,比较就会降低到准确性(RMSE,AUC等)以及可能影响预测速度的复杂性。
神经网络可以简单地使用所有迭代,因为它尚未收敛(即找到更多信息)。在这种情况下,让网络列车更长时间是一件好事。
那就是说,如果一个网络训练时间过长,它可能会过度配备。这正是为什么经常应用“早期停止”的原因。从本质上讲,它基本上表示我想在停止学习信息(用户定义的阈值)之后阻止我的网络学习。
直接回答您的问题(“我该如何理解?”) - 如果没有任何进一步的信息,您的网络似乎很快就会学到必要的信息,并且对于全部迭代次数的培训是导致一些轻微的过度拟合。