寻找全局最小值

Question

我有一个神经网络，正在努力寻找全球最小值。我想知道找到它的正确方法。我知道我需要更改超参数，但因为你使用随机权重，我是否尝试多次使用相同的超参数？在我放弃之前，我尝试了多少种不同的组合？

任何实用的建议都将受到赞赏。

Answer 1

这是基于梯度下降的优化的主要缺点。他们一直陷入局部最小值，并且没有方式保证全局最小化解决方案。

您可以使用动量等术语来帮助您克服某些局部最小值。我建议尝试一些更先进的优化技术。这些将对您有所帮助，因为他们会自动选择和更新其中一些超参数。

您还可以在此处查看this帖子，其中比较了几种优化算法。

Answer 2

我不认为有一种方法可以找到具有梯度下降的NN的全局最小值（假设这是你的使用方法）。我想你可以用SVM找到它。

我不是机器学习专家，所以我可能错了。