应用错误收集

为什么神经网络中的权重会根据神经元的数量进行初始化？

时间：2015-10-17 08:40:07

标签： neural-network

传统上，如果激活函数为tanh，则应从 $[-\sqrt{6/(n_i+n_h)}, \sqrt{6/(n_i+n_h)}]$

统一采样初始权重

如果激活函数是sigmoid，则初始权重应该从 $[-4\sqrt{6/(n_i+n_h)}, 4\sqrt{6/(n_i+n_h)}]$

统一采样

为什么要从这些范围中抽样权重？

0 个答案:

没有答案