Question

我在Colab中使用Keras Tensorflow。我拟合模型并保存。然后，我加载它并检查性能，当然它应该是相同的。然后我将其冻结，然后重新安装。我希望以后模型具有相同的性能。当然，在“培训”期间，由于批次大小的差异，准确性可能会有差异。但是之后，当使用model.evaluate进行检查时，我希望不会有任何区别，因为权重无法更改，因为模型已冻结。但是，事实并非如此。

我的代码：

import csv
import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

(train_x, train_labels), (test_x, test_labels) = tf.keras.datasets.imdb.load_data(num_words=10000)

x_train_padded = pad_sequences(train_x, maxlen=500)
x_test_padded = pad_sequences(test_x, maxlen=500)

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(10000, 128, input_length=500),
    tf.keras.layers.Conv1D(128, 5, activation='relu'),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),optimizer='adam', metrics=[tf.metrics.BinaryAccuracy(threshold=0.0, name='accuracy')])

history = model.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=4, batch_size=128)

给出输出：

我保存了模型：

model.save('test.h5')

并重新加载：

modelloaded=tf.keras.models.load_model('test.h5')

并检查性能：

modelloaded.evaluate(x_test_padded , test_labels)

当然还是一样：

现在，我将模型设置为不可训练：

modelloaded.trainable=False

，甚至：

modelloaded.summary()

显示所有参数都是不可训练的：

现在，我只用一个时期就重新适合它：

history = modelloaded.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=1, batch_size=128)

我知道，尽管砝码不可训练，但精度会有所变化，这取决于批次的大小。

但是，当我随后使用以下方法检查模型时：

modelloaded.evaluate(x_test_padded , test_labels)

我可以看到模型已更改？损耗和精度不同。我不明白为什么，我期望会有相同的数字。由于无法训练模型。我可以用不同的批次大小来调用它吗？

modelloaded.evaluate(x_test_padded , test_labels, batch_size=16)

数字始终相同，但是与模型拟合之前的数字不同。

编辑：

我尝试了以下操作：

modelloaded=tf.keras.models.load_model('test.h5')
modelloaded.trainable=False

for layer in modelloaded.layers:
  layer.trainable=False

history = modelloaded.fit(x=x_train_padded,
                          y=train_labels,
                          validation_data=(x_test_padded , test_labels),
                          epochs=1, batch_size=128)

modelloaded.evaluate(x_test_padded, test_labels)

但是，仍然调整了权重（我通过比较进行了检查 print(modelloaded.trainable_variables)之前和之后）和modelloaded.evaluate输出给出的结果略有不同，我希望不会有任何变化。由于模型的权重应该不变。但是他们做到了，正如我在检查时所看到的 print(modelloaded.trainable_variables)。

Answer 1

这似乎是一个更大的问题，将在here中进行讨论。将所有图层设置为明确不可训练应该起作用：

for layer in modelloaded.layers:
        layer.trainable = False

Answer 2

我的错误是在将模型设置为不可训练后，我没有再次编译模型。

Answer 3

您必须先编译模型才能重新拟合，否则函数拟合将采用最新的编译配置...

冻结模型并对其进行训练

3 个答案: