机器学习优化算法的分类

Question

各种机器学习优化算法有哪些？ 在某些地方，它提到优化算法属于两个主要类别 -

    First Order Optimization Algorithms and second order Optimization Algorithms

有些人还将其主要归类为 -

    Convex Optimization and Non-Convex Optimization

而其他人也将其视为 -

    Constrained and Unconstrained Optimization

在完成所有这些分类之后，我似乎无法理解属于哪个类别，如果存在，请将其指向任何分类树。

Answer 1

您不能使用您提供的类别制作树。

First Order Optimization Algorithms and second order Optimization Algorithms

通过在优化方法中是否仅使用一阶导数来区分算法。这是算法本身的一个特征。

Convex Optimization and Non-Convex Optimization

区分优化的目标是找到凸函数还是非凸函数的最小值。这是优化问题函数的一个特征。一般来说，优化凸函数比非凸函数更容易。

Constrained and Unconstrained Optimization

告诉您是否在尝试优化的函数的参数中存在任何约束。这是您尝试解决的问题的一个特征。一般来说，受约束的问题比不受约束的问题更容易解决。

这些事情并非相互排斥。例如，您可以尝试使用一阶优化算法在没有约束的情况下最小化非凸函数。您还可以查看受约束的非凸函数，并尝试使用二阶算法将其最小化。