训练集神经网络的历元和计算均方误差

时间:2014-01-02 10:03:15

标签: artificial-intelligence neural-network

我的问题是关于神经网络训练。我已经搜索了这个,但是没有很好的解释。

那么对于第一个,如何计算均方误差? (我知道这很愚蠢,但我真的不明白)

第二: 当神经网络进行训练时,我们输入了一个由多对(输入及其所需输出)组成的训练集。我们什么时候应该计算均方误差?我们已经采取所有配对吗?还是我们为每一对计算它?

如果是每一对,那么在训练集内的所有对之前错误达到最小期望错误的可能性。

第三:训练集的一个循环的纪元值增加了吗?或者当每对(输入和所需的输出)被采用时它会增加吗?(我知道这是另一种愚蠢,但请耐心等待)

非常感谢

2 个答案:

答案 0 :(得分:5)

  

y问题是关于神经网络训练。我已经搜索了这个,但是没有很好的解释。

网上有很多很好的解释,在文献中,Haykin的书可能就是这样一个例子:神经网络和学习机器

  

那么对于第一个,如何计算均方误差? (我知道这很愚蠢,但我真的不明白)

用最简单的术语来说,均方误差定义为

sum_i 1/n (desired_output(i) - model_output(i))^2

因此,您只需计算错误正方形平均值(输出与所需输出之间的差异)。

  

现在我们什么时候应该计算均方误差?我们已经采取所有配对吗?还是我们为每一对计算它?

使用这两种方法,一种称为批量学习,一种是在线学习。因此,接下来的所有问题都有答案“两者都是正确的,取决于您是使用批量学习还是在线学习”。哪一个选择?显然 - 这取决于,但为了简单起见,我建议从批量学习开始(所以你计算错误超过所有训练样本,然后更新)。

答案 1 :(得分:0)

如果我们使用在线培训进行培训,并且在覆盖培训集中的所有数据项之前错误达到最小值,那么我们跳过该值的权重更新并继续下一个培训数据,即我们确保我们在退出训练前完成一个时代