Question

我有一个班级模型：

class Model(nn.Module)

有 2 个可学习的参数：

self.a = torch.nn.Parameter(torch.rand(1, requires_grad=True))
self.b = torch.nn.Parameter(torch.rand(1, requires_grad=True))

里面还有一个神经网络类：

class Net_x(nn.Module)

所以为了训练所有参数，我结合了可学习参数“a，b”和神经网络的参数（在类模型的“init”下）：

self.net_x = self.Net_X()
self.params = list(self.net_x.parameters()) 
self.params.extend(list([self.a, self.b]))

效果很好，网络训练也很好。

我的问题是，现在我试图将其中一个参数更改为参数张量的张量：

self.a = torch.tensor( [[ torch.nn.Parameter(torch.rand(1, requires_grad=True)) ] for i in range(5)] )

那是因为在每个时间步（不是纪元），我都需要使用与 self.a 不同的参数

示例：

for epoch in range(n_epochs): 
    if timestep<5: 
        val = 50 - a[0] * b 
        loss = 10 - val 
    elif timestep >=5 and timestep < 10: 
        val = 50 - a[1] * b 
        loss = 10 - val

模型运行没有问题，但参数没有更新（即它们在每个时期都保持不变）。

P.S 我会添加我的代码，但它真的很长。我希望答案很简单（如果不是，我会尝试减少我的代码并附加它）

Answer 1

试试这个：

self.a = torch.tensor( [[ torch.nn.Parameter(torch.rand(1, requires_grad=True)) ] for i in range(5)], requires_grad = True )

requires_grad=False 默认情况下，所以我认为这可能是问题

如何在 PyTorch 中训练张量的张量

1 个答案: