Leaky-ReLU的缺点是什么？

Question

我们用ReLu代替了Sigmoid，Leaky-ReLU是relu的改进之一。每个人都在谈论Leaky-ReLU的优点。但是Leaky-ReLU的缺点是什么？

Answer 1

ReLU在隐藏层中替换了S形，因为它在通用应用程序中会产生更好的结果，但这实际上取决于您的情况，其他激活功能可能会更好。泄漏的ReLU有助于解决梯度梯度问题。

我认为Leaky ReLU的主要缺点是您需要调整另一个参数，即斜率。但我要说的是，这实际上取决于您的问题，函数的功能是否会更好。

Answer 2

冒险活动：
LeakyRelu是“不朽”。
如果您使用Relu神经网络玩够了，一些神经元将会死亡。 （特别是与L1，L2标准化）检测到死亡神经元很困难。更难地纠正它们。
障碍：
您将在每个时期添加计算工作。 （相乘比分配零更难）
根据工作的不同，您可能还需要几个时期才能实现融合。
负z处的斜率是另一个参数，但不是非常关键的参数。
当您的学习率较低时，死亡的神经元往往会死亡。