有没有一种方法可以增加密集层中的单位数量，并且仍然能够加载使用较少数量单位的先前保存的权重？

Question

我开始学习如何构建神经网络。这是我所做的：

我在512的密集层中运行了多个单位。

然后，我以最佳精度保存了砝码。

然后，我将密集层中的单位数增加到1024，并尝试以最高的精度但以旧的权重512重新加载我的权重。

我遇到一个错误。我知道为什么会出现错误，但是我想知道是否有办法增加单位数量并且仍然能够使用保存的权重，还是我需要从头开始重新训练模型？

Answer 1

理论上，您可以添加更多单元并随机初始化它们，但这会使原始训练毫无用处。在利用早期训练的同时增加模型复杂性的一种更常见的方法是添加更多层并恢复训练。