根据培训步骤进行培训时,何时进行验证?

时间:2020-04-04 06:23:45

标签: validation machine-learning neural-network training-data

很抱歉,这个问题看起来有点奇怪,也许是基本的,但是由于我一直很遗憾无法找到答案,所以我决定在这里提出问题。

我知道在深度神经网络的背景下,我们会在完成每个训练纪元后的验证(即开发)集上验证训练后的模型,这意味着只需遍历所有一次训练数据点。我也知道以下概念之间的区别:时代,训练步骤,批量大小以及人们经常得到的概念之间的关系混在一起。

我现在的问题是,当我们根据训练步骤训练神经网络时(假设我们希望考虑训练步骤来进行训练循环,这是模型的预定义超参数,而不是历元),我们什么时候应该在验证集上验证模型?我们仍然(只是)需要考虑/计算时期以找出进行验证的正确时间(步骤)吗?

还有另一个问题;如果我们在完成训练步骤的固定数量之后,在验证集上验证模型,这是否合理?假设我们要训练的总训练步骤为50,000步,并且每隔5000步就对模型进行一次验证。

0 个答案:

没有答案