我正在学习神经网络中的激活功能。简单线性函数的问题如下：
A = cx，相对于x的导数是c。这意味着梯度与X无关。它是一个恒定的梯度，下降将是一个恒定的梯度。如果预测中存在错误，则反向传播所做的更改是不变的，并且不依赖于输入delta（x）的变化!!!
ReLu函数的导数也是常数。我的问题是“如果它的导数是常数而不依赖于输入的变化，我们怎样才能用ReLu函数反向传播？”
答案 0 :(得分：0)
线性函数不用作神经网络中的激活函数。
ReLU激活功能定义为
f（x）= max（0，x）
它不是线性的，它的导数不是常数。对于负x，导数为0，对于正x，导数为1。