我有一个损失函数和一个权重矩阵列表,我正在尝试计算二阶导数。这是一段代码:
loss.backward(retain_graph=True)
grad_params_w=torch.autograd.grad(loss, weight_list,create_graph=True)
for i in range(layers[a]):
for j in range (layers[a+1]):
second_der=torch.autograd.grad(grad_params_w[a][i,j], my_weight_list[b], create_graph=True)
上面的代码可以工作(实际上,二阶导数是在一个单独的函数中调用的,但我为了简洁起见直接使用它)。但我对何时使用创建和保留图表感到困惑。
首先:如果我不做loss.backward(retain_graph)我得到错误A:
RuntimeError:变量元组的元素0是易失性的
如果我使用它,但是没有在一阶导数上加上任何“图形”语句,我会得到错误B:
RuntimeError:尝试第二次向后遍历图形,但缓冲区已被释放。第一次向后调用时指定retain_graph = True。
如果我指定retain_graph = True,无论是否在那里放置创建图形语句,我都会得到二阶导数的错误A(即在for循环中)。
因此,只有上面的代码段有效,但我需要loss.backward和所有创建图形语句感觉很奇怪。有人可以向我澄清一下吗?非常感谢提前!!