不同的随机权重初始化导致不同的性能

Question

我正在大脑的EM数据集上训练3D U-Net。目的是在其中分割神经元。在实验过程中，我注意到，网络的不同随机初始化会导致不同的性能。我根据联盟的平均交集评估性能，发现差异高达5％。

我使用具有均匀分布的xavier初始化，并使用1e-4的恒定学习率。

编辑：我在问我如何避免这种行为？

Answer 1

正如罗伯托所说，不同的随机初始化总是导致不同的权重。这很明显，因为初始状态限制了可能的系统轨迹。

如果您阅读the paper introducing Xavier init，将会发现众所周知，随机初始化对最终的性能有很大的影响（有一篇论文表明，数百次训练都是在随机结束的情况下进行的在其他局部最小值中，但我现在找不到它）。这就是为什么我们使用诸如Xavier init之类的启发式方法的原因：与其他形式的随机初始化相比，它们倾向于导致更好的局部最小值。

通常，一个人执行多次训练（例如10次）并采用最佳架构，在文章中，有时也会报告平均值。