重新加载模型后，validation_loss突然下降

Question

我正在keras / tensorflow中测试一个cGAN，并在1000个历元之后保存了模型。

一段时间后，我恢复了

1. 生成器模型+权重
2. 鉴别器模型+权重
3. GAN权重（已重新创建模型）

这是产生的val_accuracy：

可以很清楚地看到，恢复模型后val_loss大幅下降。

有人可以解释一下为什么/什么原因导致这种情况吗？

Answer 1

可能需要进一步的分析来证明这一点，但是您可能只是无意中发现了一种称为“ warm restarting”的技术。简单地说，您通常通过退火学习来训练模型，然后停止，重置学习率并重新开始。直观地，您给模型提供了跳出局部最小值的机会，这可能会导致观察到的行为。