我有一个神经网络，意在进行反向传播。
我一直在隐藏图层上使用以下内容进行重量更新
Δwji=η×δj×yi
其中δj是φ'（vj）* ej，其中vj =Σwijiyi，输出层和φ'（vj）* sum（δk* wkj）前面的层
然而，隐藏单位的偏见之一总是变为无穷大。它是什么意思？
编辑：
进入Infinity的值变为某些神经元的输入值vj。那么，这意味着我的NN只是强化了特定神经元应该始终发射的事实？
这是否也意味着我在培训时缺乏各种具体投入的例子？
答案 0 :(得分：1)
对于每个问题和每种情况，都不能保证反向传播学习的收敛性。例如，如果权重空间中的某个方向存在无限减小，则该算法可能会发散。
你可以尝试降低学习率η（通常，如果这个值太高，人工神经网络将完全分歧）或改变你的问题编码或增加训练集的种类。
答案 1 :(得分：1)
经过反复试验后，问题是隐藏层上的神经元不够。在添加等于一半输入的神经元后，我开始看到结果。 Al hard在理想的神经元数量上没有官方公式。每个问题都有所不同