为特定的求解器类型选择良好的学习率是否有任何经验法则？

Question

• Nvidia-Digits 6.1.1
• Ubuntu 16.04 64位
• Geforce 755 M
• GoogleNet
• 四类图像数据（每个1200个样本= 4800个样本）

我在玩数字游戏。我发现，例如当我使用GoogleNet设置求解器类型为SGD且学习速率为0.1时，在几次练习中精度达到100％，但损失仍然很高，如％80，并且直到训练结束它才改变。如果我仅将LR更改为0.01，则SGD会变为“正常”状态，并且随着精度的提高，损耗也将按预期减少。此外，如果我在LR = 0.1的相同条件下使用AdaDelta，事情也会变得很正常。

我想知道为学习速率和求解器类型选择“匹配”对是否有任何经验法则？引用研究论文也有帮助。