最佳神经网络优化算法

Question

我正在寻找神经网络优化中的4种最佳算法。我需要名字和任何描述，学习方法和拓扑结构对我很有帮助。 我认为多层感知器（MLP）就是其中之一，但我不确定。

谢谢大家。

Answer 1

你的问题非常广泛。这很难回答，因为不同的优化者有其优点和缺点。我想说，在今天最好的优化器中，你会发现ADAM，RMSPROP，ADAGRAD和SGD以及Nestov的动力。您可以阅读这些方法（以及其他方法）here。

Answer 2

首先，我同意这个问题确实过于宽泛，但是，我想补充一些我个人认为有助于回答这个问题的资源。在这样做的过程中，我希望这些资源可以帮助其他人，就像他们帮助我一样。他们在这里：

• Sebastian Ruder Mod Yu Zeng的blog post。
• Anish Singh Walia的讨论on this topic。
• Chapter 8由Goodfellow，Yoshua Bengio和Aaron Courville撰写的深度学习书。
来自Adrian Colyer的晨报的
• This post。

我希望这有助于某人。