PReLU激活功能更新规则

Question

我刚读完Delving Deep into Rectifiers篇论文。本文提出了一种名为PReLU的新激活函数。也许很明显，因为论文没有提到它，但我想知道PReLU的参数“a”何时更新？在重量更新之前或重量更新之后更新了吗？还是同时用重量更新？

Answer 1

当误差信号通过网络的每一层传播回来时，权重全部按顺序更新。所以偏见，＆＃39; a＆＃39;参数都在将信号传递到下一层之前更新，因此在网络下面的权重更新之前更新。