如何增加tfa.optimizers.AdamW的权重衰减而又不干扰其余的优化器参数

Question

我有一个正在训练的模型，我想增加我最初为AdamW设置的权重衰减参数

为方便起见，这里是优化程序的文档https://www.tensorflow.org/addons/api_docs/python/tfa/optimizers/AdamW

和示例初始化

tfa.optimizers.AdamW(
    weight_decay: Union[FloatTensorLike, Callable],
    learning_rate: Union[FloatTensorLike, Callable] = 0.001,
    beta_1: Union[FloatTensorLike, Callable] = 0.9,
    beta_2: Union[FloatTensorLike, Callable] = 0.999,
    epsilon: tfa.image.filters.FloatTensorLike = 1e-07,
    amsgrad: bool = False,
    name: str = 'AdamW',
    **kwargs
)

我开始以一定的重量衰减进行训练，现在我希望增加重量衰减，但是我相信如果不更改当前的Adam参数，就无法更改优化器参数。

我可以在编译后加载模型

model.compile(..., optimizer=tfa.optimizers.AdamW(...
model.load_weights(...

还将加载最后保存的Adam优化器参数。

或者我可以在加载权重后编译

model.load_weights(...
model.compile(..., optimizer=tfa.optimizers.AdamW(...

这将允许新的权重衰减，但也会清除已保存的优化程序值。