使用Sigmoid代替Tanh激活函数失败 - 神经网络

时间:2016-09-07 05:24:49

标签: python neural-network backpropagation sigmoid

我正在查看code

中的以下this blog

它提供了使用sigmoidtanh激活功能的选项。

对于tanh函数,XOR测试似乎正常工作,产生〜(0,1,1,0)

但是在更改为sigmoid后,我得到了错误的输出〜(0.5,0.5,0.5,0.5)

我用another piece of code尝试了这个,我在网上发现了同样的问题。

似乎唯一改变的是激活功能(及其衍生物)。更改这需要进行其他更改,例如在backpropogation中吗?

非常感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

看起来你使用的模型不会训练偏见。 <localRepository>/dev/m2repo</localRepository> tanh之间的唯一区别是缩放和偏移。学习新的缩放将通过权重来完成,但你还需要学习补偿新的偏移,这也应该通过学习偏差来完成。