如何从pytorch中的优化器获取/打印正则化损失/ l2损失/重量衰减值？

Question

描述为标题。 我知道pytorch中的正则化损失通常是通过优化程序（ weight_decay ）的定义来定义的： torch.optim.SGD(params, lr=<required parameter>, momentum=0, dampening=0, weight_decay=1e-5, nesterov=False)

如何获取正则化损失值以便可以打印它？

Answer 1

根据this answer，从不显式计算正则化损失。因此，您需要做的是使用参数自行计算损耗。

l2_loss = 0
for param in net.parameters() :
    l2_loss += 0.5 * torch.sum(param ** 2)