权重转移导致模型缩小（Keras）

Question

我正在尝试在模型中插入 public void onIceCandidateReceived(PeerConnection peer, IceCandidate iceCandidate) { peer.addIceCandidate(iceCandidate); ... 层。因此，我加载了旧模型，创建了新的模型架构，并转移了权重。

但是，当我保存新模型时，内存占用空间要小得多：

113兆字节，原始338兆字节。 我怀疑我在过程中一定犯了一个错误，但是该模型似乎已保存并且正在运行。准确性降低了约15％，但无法确定这是否是辍学效应。

这是我的代码：

dropout

Answer 1

您可能正在使用像Adam这样的高级优化器，该优化器的状态会在可用时保存，并且其通常大小是模型参数数量的2倍。

因此，如果加载模型并基于该模型保存新模型，则优化器状态将丢失，并且模型文件的大小将减小。如果您在训练后保存了模型，则优化器状态将被保存，并且您应该获得相似的模型文件大小。