Xavier和he_normal初始化的区别

Question

Keras中的He normal和Xavier普通初始化器之间有什么区别？两者似乎都基于输入数据的方差来初始化权重。对两者之间的区别有任何直观的解释吗？

Answer 1

请参阅this discussion on Stats.SE：

  

总之，机器学习从业者的主要区别如下：

     

  
• 对于使用ReLu激活的图层，他的初始化效果更好。
  
• Xavier初始化对于使用sigmoid激活的图层效果更好。
  

Answer 2

每种类型的激活功能的

重量（内核）初始化参数：

1. Xavier / Glorot初始化：无，双曲Tan（tanh）， Logistic（S型），softmax。
2. He初始化：整流线性激活单元（ReLU）和 变体。
3. LeCun初始化：比例指数线性单位（SELU）

应用...

keras.layers.Dense(10, activation="relu", kernel_initializer="he_normal")

这里是 Xavier Glorot，Yoshua Bengio 的研究论文的链接，以防您想要了解重量初始化背后的重要性和数学知识，“了解训练深度前馈神经网络的难度”。 http://proceedings.mlr.press/v9/glorot10a.html