如何判断我的神经网络是否收敛到局部最小值?

时间:2015-12-01 17:26:11

标签: neural-network backpropagation

我已经构建了一个相对简单的人工神经网络,试图在Q-Learning问题中对Value函数进行建模,但是为了验证我的网络实现是否正确我试图解决XOR问题。

我的网络架构使用两个层,两个层都具有tanh激活,学习因子为.001,偏置单位和动量设置为.9。在每次训练迭代之后,我打印错误项(使用平方误差),并运行直到我的误差收敛到〜.001。大约75%的时间都可以工作,但是另外25%我的网络会收敛到〜.5错误,这个问题相当大。

以下是错误术语的打印输出示例:

0.542649
0.530637
0.521523
0.509143
0.504623
0.501864
0.501657
0.500268
0.500057
0.500709
0.501979
0.501456
0.50275
0.507215
0.517656
0.530988
0.535493
0.539808
0.543903

错误一直振荡到无穷大。

所以问题是:我的实施是否已被破坏,或者我是否可能遇到本地最低要求?

0 个答案:

没有答案