负对数似然的减少参数

Question

PyTorch中负对数似然损失函数中的减少参数的直观解释是什么？该参数可以采用诸如“ mean”或“ sum”之类的值。它是对批处理元素的总和吗？

torch.nn.functional.nll_loss(outputs.mean(0), target, reduction="sum")

Answer 1

从文档中：

指定将减法应用于输出：'none'| “意思是” | '和'。 'none'：不应用任何减少，'mean'：输出的总和除以输出中元素的数量，'sum'：输出的总和。注意：size_average和reduce正在弃用中，同时，指定这两个参数中的任何一个将覆盖reduce。默认值：“平均值”

如果不使用，则输出将与批量大小相同，

如果使用均值，它将是均值（总和除以批次）

如果使用总和，它将是所有元素的总和。

您还可以使用以下代码对此进行验证：

import torch 
logit = torch.rand(100,10)
target = torch.randint(10, size=(100,)) 
m = torch.nn.functional.nll_loss(logit, target)
s = torch.nn.functional.nll_loss(logit, target, reduction="sum") 
l = torch.nn.functional.nll_loss(logit, target, reduction="none")
print(torch.abs(m-s/100))
print(torch.abs(l.mean()-m))

输出应为0或非常接近0。