我们如何定义神经网络中的不良学习率？

Question

我试图在神经网络中定义错误学习率的正确定义如下：

神经网络中学习率不好的是，当你将学习率分配得太低或太高时，学习率太低，网络需要花费太多时间进行训练，但学习率太高，网络变化太快，可能会导致输出。

任何建议都将不胜感激。

Answer 1

我认为有效的学习率（alpha）取决于数据。关于效率低下的学习率，你提到的要点是绝对正确的。因此，选择alpha并没有硬性规定。让我列举我在决定alpha时采取的步骤：

1. 你显然需要一个大的alpha，以便你的模型能够快速学习
2. 另请注意，大alpha会导致超出最小值，因此您的假设不会收敛
3. 为了解决这个问题，您可以选择学习率衰减。当你接近最小值并减慢学习速度时，这会降低你的学习率，这样你的模型就不会过冲。

有几种方法可以做到这一点：

• 步骤衰退
• 指数衰减
• 线性衰变

您可以选择其中之一，然后训练您的模型。话虽如此，但我要指出，在您获得最佳结果之前，仍然需要一些反复试验。