为什么DFP和BFGS之类的准牛顿方法在病态问题上即使是二次方程也具有较差的性能

Question

我在文学界一直读到，诸如DFP和BFGS之类的准牛顿法在处理条件不佳的问题上的性能较差，但我不明白其原因。我一直试图在条件不佳的二次问题上使用这些方法，并且该问题不会在p + 1迭代中收敛（这是二次问题的准牛顿方法属性之一），但要多一些。这是为什么 ？谢谢您的帮助。

Answer 1

不适条件是优化算法的普遍问题。由于拟牛顿法是基于牛顿法的，因此我们首先考虑其性质。患病基本上有两个主要方面：

1. 这会导致算法积累的数值不稳定性（例如舍入误差）
2. 由于得到的黑森州轮廓的拉伸形状，减慢了收敛速度

标准牛顿法还涉及Hessian的逆运算，在条件数较大的情况下，相应的小特征值会爆炸，从而导致数值不稳定。

拟牛顿法有同样的问题。但是，由于它们迭代逼近Hessian逆，因此它们在处理舍入误差方面更强大，并且收敛速度可能更快一些，但不能完全消除问题，因此它们的性能很差。