权重初始化中的随机性如何影响神经网络的训练结果？

Question

一般而言，是否值得为多组随机初始权重训练网络并选择最佳结果？

Answer 1

是的，有两个原因：

a）许多不同的集合（比如几百个）会让你有更好的机会找到最佳解决方案（如果存在的话）;和

b）即使您没有找到最佳值，重复运行也会让您更好地了解解决方案空间（问题的性质）以及验证（或无效）您的方法。

使用一个或仅少数不同的初始体重集进行实验并不能说明结果的可重复性。