Question

我正在尝试使用Pytorch框架构建线性回归，并在实现Gradient Descent的同时，根据如何在Python代码中使用算术运算，观察到两个不同的输出。下面是代码：

 #X and Y are input and target labels respectively
 X = torch.randn(100,1)*10
 Y = X + 3*torch.randn(100,1) +2
 plt.scatter(X.numpy(),Y.numpy())


 #Initialiation of weight and bias
 w = torch.tensor(1.0,requires_grad=True)
 b = torch.tensor(1.0,requires_grad=True)

 #forward pass
 def forward_feed(x):
   y = w*x +b
   return y

 #Parameters Learning
 epochs = 100
 lr = 0.00008
 loss_list = []
 for epoch in range(epochs):
   print('epoch',epoch)
   Y_pred = forward_feed(X)
   loss = torch.sum((Y - Y_pred)**2)
   loss_list.append(loss)
   loss.backward()
   with torch.no_grad():
     w -= lr*w.grad
     b -= lr*b.grad
     w.grad.zero_()
     b.grad.zero_()

如果我使用此代码，则可以得到预期的结果，即我的代码能够估算权重和偏差。但是，如果我按如下所示更改梯度下降代码行：

  w =w- lr*w.grad
  b =b- lr*b.grad

我收到以下错误：

 AttributeError                            Traceback (most recent call 
 last)
 <ipython-input-199-84b86804d4d5> in <module>()
 ---> 41         w.grad.zero_()
      42         b.grad.zero_()

 AttributeError: 'NoneType' object has no attribute 'zero_'

有人可以帮我吗？

我确实尝试在Google上查看答案，并找到了一个相关链接：https://github.com/pytorch/pytorch/issues/7731。但这与我所面临的完全相反。根据此链接，他们说就地分配会引起问题，因为张量共享相同的存储。但是，对于我的代码，Inplace操作无法正常运行。

Answer 1

我认为原因很简单。当您这样做时：

w = w - lr * w.grad
b = b - lr * b.grad

左侧的w和b是两个新的张量，它们的.grad为None。

但是，在执行就地操作时，您不会创建任何新的张量，而只是更新了相关张量的值。因此，在这种情况下，需要就地操作。

PyTorch张量中的就地算术运算与常规算术运算

1 个答案: