迭代方法的复杂性?

时间:2011-07-11 08:00:17

标签: algorithm complexity-theory iteration

问题:

我想实施Jacobi method。它类似于定点方法:

Xn+1 = P Xn +Q

if X* verify X=PX +Q 

then if Xn converge then it converge to X*

让我说我成功找到alpha< 1这样:

||PX|| < alpha * ||X||(通常alpha是P的特征值的最大值,但这里没关系)

然后我的方法会收敛。

复杂性

我想计算这种算法的复杂性。假设我想要|| Xn-X * ||小于epsilon。 对于给定的α,我可以计算n,以便验证上述不等式。但在我的情况下,我可以证明这种alpha存在,但我没有他的价值。

是否存在计算此类迭代方法的复杂性的方法而不知道明确的alpha?

提前致谢

1 个答案:

答案 0 :(得分:2)

没有更多信息:没有。

为了有一个绑定,你需要证明过程在所有alpha值上的统一收敛。但这种趋同不存在(除非你有更强的条件,例如alpha < 0.9

不确定为什么你不能生成一个建设性的过程来找到一个上限&lt; 1如果你可以证明存在,就在alpha上。大多数证明方法收敛只是找到一个相关的范数,其中矩阵范数<1。 1 通过明确查找其值

无论如何,这是一个矛盾的证明。

<强> PROOF

epsilon > 0
假设我们可以将迭代次数限制在f(x)的{​​{1}}。{。} 即如果f: R+ --> N我们假设所有e_n = ||Xn - X*||

我们会显示存在有效的alpha和n > f(epsilon). e_n < epsilonN

关键的观察是注意我们的函数N > f(epsilon). e_N > epsilon与alpha的值无关。我们假设迭代过程中存在一些上界而不知道alpha的值,只有f。因此,找到满足该条件的alpha就足以打破alpha<1上的初始假设,从而达到我们想要的矛盾。

这一点很精细,因为有效边界f 的存在实际上依赖于alpha,因为假设它限制了基于alpha的矩阵的迭代被定义为”。虽然由于alpha本身是未知的,我们必须证明f对于所有的alpha值都是有效的,这就是我们从正常收敛转变为均匀收敛的地方。

我们选择了我们的epsilon,我们选择了f。 根据我们的假设N = f(epsilon)+1,我们只需假设e_N < epsilon alpha = (2*epsilon/e_0) ^ 1/2N,否则我们可以用任何值替换epsilon&lt; 1。

2*epsilon/e_0 < 1

正如我所说的,没有额外的信息,很容易构建e_n+1 = || X(n+1) - X* || = || PXn + Q - PX* - Q || = || P(Xn - X*) || <= ||P|| ||Xn-X*|| = ||P|| e_n ,使得上面的不等式是实际的平等。例如,P为所有真实P = I*k产生相等性。因此存在k P

我们的最后一点观察是,即使e_n+1 = ||P|| e_n = ... = ||P||^(n+1) * e_0存在||PX|| < alpha * ||X||,也可能X。 例如,如果||PX|| > alpha^2 * ||X||我们知道P = I * alpha并且上述内容适用于所有alpha<1。 (同样,由于X上没有其他信息,因此可能存在P这一事实就足够了。)

如果我们插入我们的X,我们会得出以下结论:

alpha

数字不能大于自身。

QED。