我正在使用 TensorFlow Keras 实现深度架构。一开始,我使用了一个损失函数,没有定义学习率,例如:
model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=["accuracy"])
我想知道默认学习率是多少以及 TensorFlow Keras 如何设置它。其次,哪个更可取:默认指定的学习率还是自定义(用户指定的)学习率?
然后我切换到自定义学习率。但是,我观察到了两种不同的为学习率赋值的方法。例如,一个是lr,另一个是learning_rate。
第一种设置学习率的方法
optimizer = Adam(learning_rate=0.001)
model.compile(loss="categorical_crossentropy", optimizer=optimizer, metrics=["accuracy"])
第二种设置学习率的方法
optimizer = Adam(lr=0.001)
model.compile(loss="categorical_crossentropy", optimizer=optimizer, metrics=["accuracy"])
learning_rate
和 lr
有什么区别?