如何检查 PyTorch 中的所有梯度权重是否为零？

Question

我想知道如何检查所有 PyTorch 神经网络梯度权重，看它们是否为零，是否继续训练。

这可能看起来像 PyTorch: How to check if some weights are not changed during training?，但它实际上是一种解决陷入局部最小值的问题的不同方法。我不知道应该添加什么代码，因为这似乎是一个普遍的问题，我什至不知道如何在 PyTorch 中访问梯度张量。

Answer 1

您可以像这样检查参数是否全部为零：

for p in model.parameters():
    if not p.all():
        ...