网络性能不稳定的超参数优化

Question

我正在训练有关图像数据的神经网络。它有两个卷积输入，一个完全连接，一个输出层。激活函数是relus，我正在使用Adam Optimizer和Xavier权重初始化。根据输出图像和参考图像之间的SSIM得分计算损耗。我在Tensorflow中实现了网络。网络收敛很好，但是我想改善结果，所以我研究了超参数优化。经过一番测试，我发现了一个问题：

每个点对应于上述网络的最终性能，这些网络在来自验证集的64000个样本上进行初始化，训练和评估。可以看出，这些值相差很大。这可能意味着，网络根据权重初始化和训练样本的选择找到了不同的局部最小值（每64个批次中有50000个样本和640000个训练迭代）。

我的问题是：如果性能几乎随机变化，那么应该如何进行可靠的超参数优化？如果我现在更改一个参数，则不能保证所获得的结果具有代表性或异常。当然，您可以取中位数或均值，但这会增加计算复杂性。

谢谢您的帮助。