Question

我在 Python Keras 中拟合了一个神经网络。

为了避免过度拟合，我想监控训练/验证损失，并创建一个适当的回调，当训练损失比验证损失少得多时，停止计算。

回调的一个例子是：

{{1}}

与验证损失相比，训练损失太少，有没有办法停止训练？

提前谢谢

Answer 1

您可以为自己的目的创建自定义回调类。

我已根据您的需要创建了一个：

class CustomEarlyStopping(Callback):
    def __init__(self, ratio=0.0,
                 patience=0, verbose=0):
        super(EarlyStopping, self).__init__()

        self.ratio = ratio
        self.patience = patience
        self.verbose = verbose
        self.wait = 0
        self.stopped_epoch = 0
        self.monitor_op = np.greater

    def on_train_begin(self, logs=None):
        self.wait = 0  # Allow instances to be re-used

    def on_epoch_end(self, epoch, logs=None):
        current_val = logs.get('val_loss')
        current_train = logs.get('loss')
        if current_val is None:
            warnings.warn('Early stopping requires %s available!' %
                          (self.monitor), RuntimeWarning)

        # If ratio current_loss / current_val_loss > self.ratio
        if self.monitor_op(np.divide(current_train,current_val),self.ratio):
            self.wait = 0
        else:
            if self.wait >= self.patience:
                self.stopped_epoch = epoch
                self.model.stop_training = True
            self.wait += 1

    def on_train_end(self, logs=None):
        if self.stopped_epoch > 0 and self.verbose > 0:
            print('Epoch %05d: early stopping' % (self.stopped_epoch))

如果train_loss和validation_loss之间的比率低于某个比率阈值，我冒昧地解释您想要停止。此比率参数应介于0.0和1.0之间。但是，1.0是危险的，因为在培训开始时，验证损失和培训损失可能会以不稳定的方式波动很多。

您可以添加一个耐心参数，等待查看您的阈值是否会停留一定数量的纪元。

使用它的方法是例如：

callbacks = [CustomEarlyStopping(ratio=0.5, patience=2, verbose=1), 
            ... Other callbacks ...]
...
model.fit(..., callbacks=callbacks)

在这种情况下，如果训练损失低于0.5*val_loss超过2个时期，它将停止。

这对你有帮助吗？

Keras Callback EarlyStopping比较训练和验证损失

1 个答案: