Question

我在Keras中定义了以下自定义模型和训练循环：

class CustomModel(keras.Model):
    def train_step(self, data):
        x, y = data

        with tf.GradientTape() as tape:
            y_pred = self(x, training=True)  # Forward pass
            loss = self.compiled_loss(y, y_pred, regularization_losses=self.losses)

        trainable_vars = self.trainable_variables
        gradients = tape.gradient(loss, trainable_vars)
        self.optimizer.apply_gradients(zip(gradients, trainable_vars))
        self.compiled_metrics.update_state(y, y_pred)
        return {m.name: m.result() for m in self.metrics}

我正在使用以下代码在简单的玩具数据集上训练模型：

inputs = keras.layers.Input(shape=(1,))
hidden = keras.layers.Dense(1, activation='tanh')(inputs)
outputs = keras.layers.Dense(1)(hidden)

x = np.arange(0, 2*np.pi, 2*np.pi/100)
y = np.sin(x)

nnmodel = CustomModel(inputs, outputs)
nnmodel.compile(optimizer=keras.optimizers.SGD(lr=0.1), loss="mse", metrics=["mae"])
nnmodel.fit(x, y, batch_size=100, epochs=2000)

我希望能够在每个训练循环的gradient函数中查看trainable_vars和train_step变量的值，但我不确定如何执行此操作。

我已经尝试在python IDE的train_step函数中设置一个断点，并希望在我调用model.fit()之后，在训练的每个纪元都在该断点处停止，但这并没有不会发生。我还尝试在每个时期之后将它们打印出日志中的值，但我不确定如何实现。

如何在Keras自定义训练循环中跟踪权重和渐变

0 个答案: