神经网络：结合ReLus和Batch规范化？

Question

在https://datascience.stackexchange.com/questions/14352/how-are-deep-learning-nns-different-now-2016-from-the-ones-i-studied-just-4-ye我被告知应该使用批量标准化：

  

有一段时间人们都知道，NN在归一化的数据上训练得最好 - 即，均值和单位方差均为零。

我还被告知应该使用ReLu神经元 - 特别是如果输入是图像。图像通常具有0到1或0到255之间的数字。

问题：将ReLus与批量标准化相结合是否明智？

我想如果我做第一次批量标准化，我担心，一旦它通过ReLus.of我的信息一次可能会丢失信息

Answer 1

将批量标准化与ReLU相结合没有问题，这种做法经常没有问题。例如，关于Residual Networks的第一篇论文就是这样做的，并且在ImageNet分类中获得了非常好的结果。