是否所有ReLu都将所有负值都更改为0？

Question

我刚刚花了一个小时来阅读有关整流线性单位（ReLu）的论文。我发现很难解开所涉及的数学。

基本上是说在进行浓缩和合并之后，将任何负值更改为0吗？

是吗？

Answer 1

您几乎是正确的。但是，对于大于零的输入值，它将成为通常的线性函数。因此，该函数为：

f(x) = 0, when x < 0;
     = x, otherwise

(or)

f(x) = max(0, x)