以八度为单位实现整流线性单元

Question

function g = relu(z)

a=z>0;
g=z.*a;

end

z可以是标量，矩阵或向量。所以上面的实现是正确的，还是有更好的方法在八度音程中实现[整流线性单位] ReLU。

还请说明衍生品是否合适

function g = relugradient(z)

g= (z>=0);

end

Answer 1

我会用

function r = relu (z)
  r = max (0, z);
endfunction

但你的版本应该返回相同的版本。尝试使用大向量和矩阵进行基准测试......

衍生品很好（g = z > 0;就足够了）