我正在关注 TensorFlow 官方网站上的 Transfer learning and fine-tuning guide。指出在微调期间,批量归一化层应处于推理模式:
<块引用>BatchNormalization
层的重要说明许多图像模型包含 BatchNormalization
层。那一层是
每个可以想象的计数的特殊情况。这里有几件事要保留
记住。
BatchNormalization
包含 2 个不可训练的权重,在训练期间会更新。这些是跟踪输入均值和方差的变量。bn_layer.trainable = False
时,BatchNormalization
层将在推理模式下运行,并且不会更新其均值和方差统计信息。其他层通常情况并非如此,as weight trainability & inference/training modes are two orthogonal concepts。但在 BatchNormalization
层的情况下,两者是联系在一起的。BatchNormalization
层的模型以进行微调时,您应该通过在调用基本模型时传递 BatchNormalization
来将 training=False
层保持在推理模式。否则,应用于不可训练权重的更新会突然破坏模型所学到的东西。您将在最后的端到端示例中看到此模式的实际应用 本指南。
即便如此,其他一些来源,例如 this 文章(标题为 ResNet 的迁移学习),说的完全不同:
<块引用>for layer in resnet_model.layers:
if isinstance(layer, BatchNormalization):
layer.trainable = True
else:
layer.trainable = False
无论如何,我知道 TensorFlow 中的 training
和 trainable
参数之间存在差异。
我正在从文件加载我的模型,如下所示:
model = tf.keras.models.load_model(path)
我正在以这种方式解冻(或实际上冻结其余部分)一些顶层:
model.trainable = True
for layer in model.layers:
if layer not in model.layers[idx:]:
layer.trainable = False
现在关于批量标准化层:我可以这样做:
for layer in model.layers:
if isinstance(layer, keras.layers.BatchNormalization):
layer.trainable = False
或
for layer in model.layers:
if layer.name.startswith('bn'):
layer.call(layer.input, training=False)
我应该怎么做?以及最终是否更好地冻结批规范层?