Question

我有一个渐变从图层L2_1和L2_2同时进入图层L1，我需要在(L2_1 + L2_2)进入L1之前重新调整渐变1/sqrt(2)。我怎么能这样做？

我的网络看起来像这样：

                L2_1
               /    \
input -> L0 - L1     L_final
               \    /
                L2_2

Answer 1

您可以将L2_1和L2_2输出除以sqrt（2）。这将重新调整激活和反向提升。如果您只想修改backprop但不修改激活，可以使用here

中的渐变替换技巧