批归一化（BN）后使用泄漏ReLu是否有用

Question

在我的CNN网络中，我正在使用Leaky ReLu层之后的BN。 Leaky ReLu通过为负值添加f（y）= ay解决垂死的ReLu问题。 BN引入了零均值和单位方差。那么BN是否会删除负数部分，即这会将所有值转换为0到1的比例吗？基于此，将只选择Leaky ReLu。因为如果BN去除负部分，则使用泄漏的relu将与relu相同。我正在使用keras。

Answer 1

BN层尝试通过减去输入期望值来将其输出归零。因此，我们可以预期其某些输出值为负。

因此，BN层之后的LeakyReLU仍将接收负值。

Answer 2

此外，为了增加主角的答案，BN实际上学习了仿射变换，即，它将输入变换为具有均值alpha（不一定为0）和beta的方差（不一定为1），其中alpha和beta是BN层的可学习参数。