我有一个中等大小的转换网，整齐地加上批量规范化。批量标准化的效果是非常积极的[超过10倍的训练速度和更高的准确性]。
然而，培训和验证/测试集之间的准确性差距显着增加，接近10％。这令人不安。在培训期间，差距逐渐缓慢。
BN实施使用标准TF指数移动平均线。这似乎不是一个问题，因为验证和训练集共享相同的统计数据，我也试图冷却热身＆＃34;移动平均线朝向测试集统计;这个程序没有效果。 此外，我必须关闭BN的l2正则化和丢失才能很好地工作。
有没有人遇到类似的事情？有任何想法吗？ 是否有关于如何添加更多标准＆＃34;的建议？ BN网络的正规化？
答案 0 :(得分：0)
由于运行均值和方差的计算不正确，批量标准化似乎过度拟合。如果您在数据集上运行的最后一批比其他批次小得多，则可能会感到高兴，导致错误在多个历元中累积。
确保您的最后一批与其他批次的大小相同，可能只是忽略最后一批。