神经网络的初始化如何影响收敛？

Question

如果使用小的随机权重初始化神经网络并运行非常大量的迭代（20k或更多），则cqn最终精度范围（10e-4数量级的差异是可以的）对于重新运行而言差异很大相同型号？

Answer 1

是的，它可以有所不同。通常情况并非如此，但理论上它可以，有时也可以。这是由于初始化过程中的随机性以及培训期间的进料顺序，这可能导致优化每次都以不同的成本函数局部最小值结束。这就是为什么研究人员开发出应该优于其他技术的初始化技术，例如Xavier initialisation。

如果你有时间，可以多次训练，只是为了看看你的跑步之间的结果是否非常不同，这是一个很好的做法。