解释prelu权重

Question

对于prelu权重的解释是什么，如果一个图层中prelu的权重接近1，而在另一个图层中它们接近0是什么？

周围的文献不多，任何帮助都会非常有用！

Answer 1

PRelu公式为this：

正如您所看到的，如果a被认为大约为0，那么f(x)几乎等于普通的relu，而来自负激活的渐变并不会改变网络。简而言之，网络并不想要＆＃34;在任何方向调整非活动神经元。实际上，这也意味着你可以通过在这一层使用relu来加速训练。这种非线性也很重要。

相反，当a大约为1时，f(x)几乎为x，即它没有非线性。这意味着该层可能是多余的，并且网络有足够的自由度来做出没有它的决策边界。