Question

因此，我有一个带lstm层的深层卷积网络，在ltsm层之后，它拆分为计算两个不同的函数（使用两个不同的线性层），然后将其结果加在一起以形成最终的网络输出。

当我计算网络的损耗，以便可以让它计算梯度并更新权重时，我需要执行一些操作，然后让它计算派生值和计算出的目标值之间的损耗。

def update(output, target):
    # target output is calculated outside the function
    # operations on output
    loss(output, target).backward()
    self.optimizer.step()

网络有一些损耗（有时幅度很小，但有时也有较高的数量级），例如一些损耗：

tensor(1.00000e-04 *
   5.7420)
tensor(2.7190)
tensor(0.9684)

它也具有此处计算的渐变：

for param in self.parameters():
    print(param.grad.data.sum())

哪个输出：

tensor(1.00000e-03 *
   1.9996)
tensor(1.00000e-03 *
   2.6101)
tensor(1.00000e-02 *
   -1.3879)
tensor(1.00000e-03 *
   -4.5834)
tensor(1.00000e-02 *
   2.1762)
tensor(1.00000e-03 *
   3.6246)
tensor(1.00000e-03 *
   6.6234)
tensor(1.00000e-02 *
   2.9373)
tensor(1.00000e-02 *
   1.2680)
tensor(1.00000e-03 *
   1.8791)
tensor(1.00000e-02 *
   1.7322)
tensor(1.00000e-02 *
   1.7322)
tensor(0.)
tensor(0.)
tensor(1.00000e-03 *
   -6.7885)
tensor(1.00000e-02 *
   9.7793)

并且：

tensor(2.4620)
tensor(0.9544)
tensor(-26.2465)
tensor(0.2280)
tensor(-219.2602)
tensor(-2.7870)
tensor(-50.8203)
tensor(3.2548)
tensor(19.6163)
tensor(-18.6029)
tensor(3.8564)
tensor(3.8564)
tensor(0.)
tensor(0.)
tensor(0.8040)
tensor(-0.1157)

但是当我比较运行优化器前后的权重时，得到的结果是权重彼此相等。

查看权重是否发生变化的代码：

before = list(neuralnet.parameters())
neuralnet.update()
after = list(neuralnet.parameters())
for i in range(len(before)):
    print(torch.equal(before[i].data, after[i].data))

上面的每次迭代都返回True。

Answer 1

在初始化参数时，会将那些参数包装在torch.nn.Parameter()类中，以使优化程序更新这些参数。如果您使用的是pytorch <0.4，请尝试使用torch.autograd.Variable()。例如：

import torch
import torch.utils.data
from torch import nn, optim
from torch.nn import functional as F

class TEMP(nn.Module):

    # Whole architecture
    def __init__(self):
        super(TEMP, self).__init__()
        self.input = nn.Parameter(torch.ones(1,requires_grad = True)) # <----wrap it like this


    def forward(self,x):
        wt = self.input
        y = wt*x 
        return y

model = TEMP()
optimizer = optim.Adam(model.parameters(), lr=0.001)
x = torch.randn(100)
y = 5*x
loss = torch.sum((y - model(x)).pow(2))
optimizer.zero_grad()
loss.backward()
optimizer.step()
print(model.input)

另外请注意，如果要在pytorch> = 0.4中初始化张量，则要更新该变量，请更改requires_grad = True的值。

Answer 2

https://discuss.pytorch.org/t/gradients-exist-but-weights-not-updating/20484/2?u=wr01得到了我想要的答案。问题是neuralnet.parameters()不会克隆参数列表，因此当我更新权重时，权重在before变量中更新。

存在Pytorch渐变，但权重未更新

2 个答案: