BFGS对凸超参数化问题的收敛性

Question

对于严格凸问题，BFGS优化算法是超线性收敛是“众所周知的”，但是对非严格凸的问题有任何分析。例如，假设f（x）对于某些标量x是凸的。然后，假设我们优化g（x1，x2）= f（x1 + x2）。这仍然是超线性收敛的吗？

Answer 1

BFGS是否完全收敛于非凸问题仍然是一个悬而未决的问题。事实上，在1984年，鲍威尔给出了一个反例，表明BFGS可能会进行不精确的线搜索搜索 没有收敛。可以做出的是本地语句，例如：给定局部最小值x *，如果最终进入x *附近的空间区域，BFGS将超线性地收敛。其原因是在x *附近，目标函数可以通过凸二次曲线精确建模。

关于你给出的作文功能所知，我不确定。有关BFGS属性的详细说明，请参阅Dennis和Schnabel或Nocedal和Wright。

祝你好运。

Answer 2

如果我错了，请纠正我，但在这种情况下，“解决方案”实际上不是一条线，而不是单一点吗？如果x'是f（x）的最小化，那么当你将任何方法应用于g（x1，x2）时，你所希望的最好的是它收敛到x2 = x' - x1行。

Answer 3

在实践中，我发现精心编写的算法会收敛，但不一定是超线性的。 Roundoff错误是罪魁祸首。融合标准发挥作用。对于“几乎”不凸起的功能，即“僵硬”，它们是相同的。

必须小心使用BFGS更新，以确保得到的近似Hessian保持正确“足够”，即使理论上的Hessian不是。我所做的是保持和更新Hessian的Cholesky分解，而不是Hessian 本身或其逆。