我正在尝试运行一个递归神经网络，其中每个神经元的状态更新功能如下
z = g*y
鉴于
g = (x<x_max & x>x_max-e) | (x>-x_max & x<-x_max+e)
请注意，这里的所有变量只是标量。
定义变量x的方式将使其始终不断更新，从而使g始终是this picture中所示的脉冲。也就是说，一次更新的g不会为1，但连续几次更新的g将为1。
在具有此传递函数的情况下，这些软件包中的任何一个都可以实现自动梯度计算吗？
答案 0 :(得分：0)
无法计算梯度。
如所示， g是一个二进制变量。因此它的梯度无法计算。即使您绘制的波形在除两个点（其无限大，函数不连续）之外的所有地方，梯度都为0
