使用批量标准化时，噪声验证损失（与纪元相比）

Question

我在Keras使用以下模型：

输入/ conv1 / conv2 / maxpool / conv3 / conv4 / maxpool / conv5 / conv6 / maxpool / FC1 / FC2 / FC3 / softmax（2个节点）。

当我在每次激活（Wx）之后和非线性ReLu（Wx）之前使用批量标准化时，验证的损失和准确性是有噪声的（红色= Training_set / Blue = validation_set）：

如果我删除了BN图层，那么验证损失就像培训损失一样顺利。

我尝试了以下（但没有奏效）：

1.将批量大小从64增加到256 2.降低学习率 3.添加L2-reg和/或不同幅度的丢失 4.列车/验证分流比：20％，30％。 仅供参考，数据集是kaggle cats＆amp; dogs图像。