它是如何工作的：神经网络中的整流线性单元

Question

有人能告诉我上述算法是如何工作的。从理论上讲，我得到了它，但我需要一些演示。一个简单的2x2矩阵就可以了。希望你能帮助我。这与我正在学习的深度学习课程有关。

Answer 1

ReLU只是一个功能：

F（X）= MAX（0，x）的

所以如果你有一个矩阵：

X = [[0,3]，[ - 2,7]] ----＆gt; f（X）= [[0,3] [0,7]]

在向后传递期间，渐变将仅通过输入矩阵的正元素流动。为前一个示例获得的渐变掩模将是：

X = [[0,3]，[ - 2,7]] ----＆gt; DF（X）/ d（X）= [[0,1] [0,1]]

由于ReLU的导数未定义为x = 0，因此另一个有效掩码可能是：

df（X）/ dX = [[c，1] [0,1]]，c在0和1之间。

Answer 2

RELU公式只是f(x)=max(0,x)所以它基本上将卷积矩阵中的所有负数都归零。

Here你对RELU和卷积神经网络有一个很好的解释。