Pytorch：在Backprop中grad_h_relu.clone（）的重要性

Question

我正在学习Pytorch，但是在他们网站上寻找该教程时，我无法理解grad_h = grad_h_relu.clone()的意义。

h = x.mm(w1)
h_relu = h.clamp(min=0)
y_pred = h_relu.mm(w2)

# Compute and print loss
loss = (y_pred - y).pow(2).sum().item()
print(t, loss)

# Backprop to compute gradients of w1 and w2 with respect to loss
grad_y_pred = 2.0 * (y_pred - y)
grad_w2 = h_relu.t().mm(grad_y_pred)
grad_h_relu = grad_y_pred.mm(w2.t())


grad_h = grad_h_relu.clone() # what is the signifigance of this line?


grad_h[h < 0] = 0
grad_w1 = x.t().mm(grad_h)

# Update weights using gradient descent
w1 -= learning_rate * grad_w1
w2 -= learning_rate * grad_w2

Answer 1

p = inputParser;
p.addSwitch ("clines");
p.addSwitch ("rlines");
p.addParamValue ("math", "X", @ischar);
p.addParamValue ("file", "matrix.tex", @ischar);
p.addParamValue ("align", "r", @(x) any(strcmpi(x, {"l", "c", "r"})));
p.parse (varargin{:});

这意味着您正在复制relu的渐变，以使其不与原始grad_h = grad_h_relu.clone() 共享内存。然后对它执行一些操作。由于它们存储在两个不同的位置，因此通过以下操作更改grad_h_relu的值不会影响grad_h。

grad_h_relu

此grad_h[h < 0] = 0 grad_w1 = x.t().mm(grad_h) 是更新网络参数所必需的。