如果输入包含NaN,则通过Pytorch Element-Wise操作进行反向传播

时间:2019-06-25 20:54:54

标签: python python-3.x python-3.6 pytorch

假设我想计算两个张量之间的元素商。如果其中一个张量包含NaN,则所得商也将包含NaN,据我所知。但是,为什么在整个操作中不存在渐变?以及如何保留非NaN条目的梯度?

例如:

>>> x = torch.tensor([1.0, np.NaN])
>>> y = torch.tensor([2.0, 3.0])
>>> z = torch.div(y, x)
>>> z
tensor([2., nan])
>>> z.backward()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.6/dist-packages/torch/tensor.py", line 107, in backward
    torch.autograd.backward(self, gradient, retain_graph, create_graph)
  File "/usr/local/lib/python3.6/dist-packages/torch/autograd/__init__.py", line 93, in backward
    allow_unreachable=True)  # allow_unreachable flag
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

2 个答案:

答案 0 :(得分:1)

您的代码中有很多错误,我在此予以解决,希望能启发您:)

  • RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn不是因为NaN而引起的。这是因为您的所有输入变量都不要求渐变,因此z不可能调用backward()。您需要在某个地方启动反向传播树。
  • 您不能仅在具有多个值的张量上.backward()。您需要先进行sum()或类似的操作,但是在您的情况下会产生NaN。您可以通过调用z来分别反向传播.backward(torch.Tensor([1.0,1.0]))的两个部分。

因此,如果您修复了所有错误,它应该可以工作:

import torch
import numpy as np

x = torch.tensor([1.0, np.NaN], requires_grad=True)
y = torch.tensor([2.0, 3.0])
z = torch.div(y, x)

z.backward(torch.Tensor([1.0,1.0]))
print(x.grad)
tensor([-2., nan])

答案 1 :(得分:0)

稍作调整:

import torch
import numpy as np
x = torch.tensor([1.0, np.NaN], requires_grad=True)
y = torch.tensor([2.0, 3.0])
z = torch.div(y, x)
z #tensor([2., nan], grad_fn=<DivBackward0>)

换句话说,您需要说需要梯度计算,否则张量将没有grad函数。