在冷冻重量上应用批量标准化是一种好习惯吗?

时间:2018-01-10 03:43:33

标签: neural-network deep-learning batch-normalization

我想知道在具有冻结权重和偏差的那些层上使用批量规范层是否很常见。在我的特殊情况下,我已经预先训练了VGG19并在ImageNet上训练了重量。我现在尝试做的是使用预训练的权重训练这个网络,在每个非线性之前添加批量范数层。我的问题是,即使早期图层的权重被冻结意味着无法训练,在每个图层上使用批量规范图层是一种好习惯吗?我的第一个虽然是好的做法,因为即使那些早期的图层不可训练,仍然可以训练批量标准参数,因此这些冻结层的输入应该被标准化并且将具有良好的分布。如果您对此有任何疑问,请给我直观的解释。抱歉我的英语不好,谢谢你的关注。

0 个答案:

没有答案