神经网络:结合ReLus和Batch规范化?

时间:2017-03-20 08:57:28

标签: neural-network deep-learning

https://datascience.stackexchange.com/questions/14352/how-are-deep-learning-nns-different-now-2016-from-the-ones-i-studied-just-4-ye我被告知应该使用批量标准化:

  

有一段时间人们都知道,NN在归一化的数据上训练得最好 - 即,均值和单位方差均为零。

我还被告知应该使用ReLu神经元 - 特别是如果输入是图像。图像通常具有0到1或0到255之间的数字。

问题:将ReLus与批量标准化相结合是否明智?

我想如果我做第一次批量标准化,我担心,一旦它通过ReLus.of我的信息一次可能会丢失信息

1 个答案:

答案 0 :(得分:2)

将批量标准化与ReLU相结合没有问题,这种做法经常没有问题。例如,关于Residual Networks的第一篇论文就是这样做的,并且在ImageNet分类中获得了非常好的结果。