神经网络的重新运行不会收敛

时间:2017-02-20 08:36:51

标签: keras conv-neural-network convergence

我有一个用于语义分割的卷积神经网络,在Keras中使用Tensorflow后端实现。该架构是编码器 - 解码器类型,在编码部分使用卷积层和最大池,在解码部分使用解卷积层和上采样。要分开的两个类:感兴趣的对象和背景。最后一层有一个sigmoid激活,其余的有Relu。在"中间"中有一个批量标准化层。该模型。损失函数是交叉点的联合分数。学习算法:随机梯度下降,学习率为0.001,动量为0.9。

我已经训练了模型,并且在分割任务上获得了很好的收敛性。这里的麻烦,作为神经网络的新手,我没有保存任何有关学习进度的数据:有损失值,准确性等的图表,我需要在报告中包含这些数据。因此,我试图重新训练同一个网络(没有改变),但它没有收敛(根本)。

在这种情况下该怎么办?我没有为权重选择任何特定的初始化(正如我所理解的,后来检查过,Keras中的默认值是glorot_uniform),所以每次运行它时,它们都会有所不同。有什么我可以做的吗?或者我是否有机会重现最初的结果?

任何想法/建议/建议都非常感谢。谢谢!

0 个答案:

没有答案