Question

据我所知，Tensorflow的Adam实现会降低学习率，如下所示：

lr = (lr_t * math_ops.sqrt(1 - beta2_power) / (1 - beta1_power))

但是，我尝试在进入优化器之前手动操作学习速率，并且我希望优化器中的学习速率不受影响。

有没有办法保持学习率固定？我是否必须为它编写新的Optimiser？

Answer 1

调整学习率是亚当的主要特征。你无法禁用它。最接近“没有学习速率适应的Adam”的优化器可能是MomentumOptimizer中的TF，可能是implemented。