Question

我正在训练CNN，为了调试我的问题，我正在研究一小部分实际训练数据。

在训练期间，损失和准确性似乎非常合理且非常好。（在示例中，我使用相同的小子集进行验证，问题已在此处显示）

适合x_train并使用batch_size = 32

在x_train上进行验证

Epoch 10/10
1/10 [==>...........................] - ETA: 2s - loss: 0.5126 - acc: 0.7778
2/10 [=====>........................] - ETA: 1s - loss: 0.3873 - acc: 0.8576
3/10 [========>.....................] - ETA: 1s - loss: 0.3447 - acc: 0.8634
4/10 [===========>..................] - ETA: 1s - loss: 0.3320 - acc: 0.8741
5/10 [==============>...............] - ETA: 0s - loss: 0.3291 - acc: 0.8868
6/10 [=================>............] - ETA: 0s - loss: 0.3485 - acc: 0.8848
7/10 [====================>.........] - ETA: 0s - loss: 0.3358 - acc: 0.8879
8/10 [=======================>......] - ETA: 0s - loss: 0.3315 - acc: 0.8863
9/10 [==========================>...] - ETA: 0s - loss: 0.3215 - acc: 0.8885
10/10 [==============================] - 3s - loss: 0.3106 - acc: 0.8863 - val_loss: 1.5021 - val_acc: 0.2707

当我评估相同的训练数据集时，准确度实际上与我在训练期间所看到的一致（我希望它至少与相同数据集的训练期间一样好）。

直接评估或使用

时

K.set_learning_phase(0)

我得到的，类似于验证（使用batch_size = 32 评估x_train）：

Evaluation Accuracy: 0.266318537392, Loss:  1.50756853772

<小时/> 如果我将后端设置为学习阶段，结果会再次变得非常好，因此每批规范化似乎运行良好。我怀疑累积的均值和方差没有被正确使用。

所以

之后

K.set_learning_phase(1)

我得到（使用batch_size = 32 评估x_train）：

Evaluation Accuracy: 0.887728457507, Loss:  0.335956037511

<小时/> 我在第一个卷积层之后添加了batchnormalization层，如下所示：

model = models.Sequential()
model.add(Conv2D(80, first_conv_size, strides=2, activation="relu", input_shape=input_shape, padding=padding_name))
model.add(BatchNormalization(axis=-1))
model.add(MaxPooling2D(first_max_pool_size, strides=4, padding=padding_name))
...

在线下我还会有一些辍学图层，我将其删除以调查Batchnormalization行为。我打算在非训练阶段使用该模型进行正常预测。

不应该这样工作，还是我错过了一些额外的配置？

谢谢！

我使用keras 2.0.8和tensorflow 1.1.0（anaconda）

Answer 1

这真烦人。当您将learning_phase设置为True时，BatchNormalization图层会直接从数据中获取规范化统计信息，当您拥有较小的batch_size时可能会出现问题。我前段时间遇到过类似的问题 - 在这里你有我的解决方案：

构建模型时 - 如果模型在学习阶段或非学习阶段预测，并且在学习阶段使用此阶段，则添加选项使用以下类而不是BatchNormalization：

class NonTrainableBatchNormalization(BatchNormalization):
    """
    This class makes possible to freeze batch normalization while Keras 
    is in training phase.
    """
    def call(self, inputs, training=None):
        return super(
            NonTrainableBatchNormalization, self).call(inputs, training=False)

训练模型后 - 将其权重重置为NonTrainable副本：

learning_phase_model.set_weights(learned_model.get_weights())

现在，您可以完全享受在BatchNormalization中使用learning_phase。

Keras Batchnormalization，培训数据集的培训和评估结果不同

1 个答案: