更改火炬重量衰减值可防止验证损失和训练损失减少

Question

我正在尝试使用weight_decay参数通过pytorch Optimizer规范化我的模型。当weight_decay的值等于0（这是默认值）时，训练损失和验证损失会减少。但是，当我尝试将weight_decay设置为不同的值（例如0.0001、0.001、0.01、0.1 ...）时，验证损失和训练损失仍然是在所有时期（0.70）相同。可能是什么问题？