Pytorch二阶导数卡在两个错误之间:缓冲区已被释放,变量是易失性的

时间:2018-05-16 18:56:35

标签: gradient pytorch hessian autograd

我有一个损失函数和一个权重矩阵列表,我正在尝试计算二阶导数。这是一段代码:

loss.backward(retain_graph=True)
grad_params_w=torch.autograd.grad(loss, weight_list,create_graph=True)

for i in range(layers[a]): 
       for j in range (layers[a+1]): 
          second_der=torch.autograd.grad(grad_params_w[a][i,j], my_weight_list[b], create_graph=True) 

上面的代码可以工作(实际上,二阶导数是在一个单独的函数中调用的,但我为了简洁起见直接使用它)。但我对何时使用创建和保留图表感到困惑。

首先:如果我不做loss.backward(retain_graph)我得到错误A:

RuntimeError:变量元组的元素0是易失性的

如果我使用它,但是没有在一阶导数上加上任何“图形”语句,我会得到错误B:

RuntimeError:尝试第二次向后遍历图形,但缓冲区已被释放。第一次向后调用时指定retain_graph = True。

如果我指定retain_graph = True,无论是否在那里放置创建图形语句,我都会得到二阶导数的错误A(即在for循环中)。

因此,只有上面的代码段有效,但我需要loss.backward和所有创建图形语句感觉很奇怪。有人可以向我澄清一下吗?非常感谢提前!!

0 个答案:

没有答案