Pytorch实施RAdam并向前看

Question

我正在尝试在我的pytorch模型中使用RAdam和“向前看”。 我尝试了以下方法-

from radam import RAdam
from optimizer import Lookahead
base_optim = RAdam(model.parameters(),lr = 0.001) 
optimizer =  Lookahead(base_optim, k=5, alpha=0.5)

但得到ModuleNotFoundError: No module named 'optimizer'. 有没有办法在pytorch模型中使用RAdam和“向前看”。