无约束的优化方法及其收敛

时间:2017-08-23 18:44:10

标签: algorithm time-complexity complexity-theory mathematical-optimization

我是凝聚态物理学的学生。我遇到了许多需要全局优化的问题,例如find the most stable crystal form for a given components。 这些问题可归纳为(我认为NP难):

1)给定一个函数f(x1,x2,x3,...),这是一个总黑盒子,有时计算成本很高

2)给定一个离散的区域S

3)找到函数f

的全局最大值

我知道有许多算法,例如evolutionary algorithmsparticle swarm optimizationsimulated annealing,如果f(x)不是很贵,我可以使用一些点来训练{ {1}}和neuronal network,但我想知道:

1)是否有更多算法可以做同样的事情?

2)这些算法的收敛性和收敛速度是多少?我发现一些论文说大多数这些算法会收敛,但与整个空间的残酷搜索相比,它们收敛的速度有多快?

非常感谢能提供信息的人或在哪里可以找到有关上述问题的信息

2 个答案:

答案 0 :(得分:2)

硬度理论的一般方法是,如果你能证明所研究的算法可以用来解决一个已知的难题,那么该算法不能保证正确性和易处理性,多项式,计算机时间(否则我们会P = NP被认为不是这种情况,尽管还没有这方面的证据)。现在有大量NP-complete和NP-hard问题的目录。为了您的目的,请特别注意https://en.wikipedia.org/wiki/Quadratic_programming#Complexity就是其中之一。在组合问题的解决方案中,采用组合问题并提出具有全局最小值的连续函数通常也相当容易,所以再次如果你能在连续问题中找到全局最小值,你就可以解决困难问题。组合问题。

数值分析书中充满了各种方法,这些方法在给定合理假设的情况下采用导数并快速收敛到局部最优。还有Torczon Simplex,它具有合理假设的收敛证明,但不需要衍生物。 (参考https://en.wikipedia.org/wiki/Pattern_search_(optimization),另见https://help.scilab.org/doc/5.5.2/en_US/optimsimplex_overview.html)。这里的问题是收敛被证明是局部最优,并且可能存在指数多的局部最优。注意,即使SUM_i(X_i ^ 2-1)^ 2具有指数多个局部最优值,尽管它们都产生相同的值。一个想法是从随机起始位置反复收敛并选择找到的最佳答案,但显然找到全局最优的机会可能很小。

模拟退火及其变体有一个收敛到全局最优的证据,但是如果你看看它是如何被证明的,它归结为说如果你让程序运行得足够长,它最终会绊倒正确的答案因此,收敛的时间随问题大小呈指数增长,并且与从多个随机开始重复收敛到局部最优的顺序(或更差)相同。这里有时做出的假设 - 特别是你正在优化一个随机函数 - 也可能证明https://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization定理,表明这些奇异的方法有自己的弱点,或者至少没有一个最好的通用算法

答案 1 :(得分:-1)

谢谢你们!我发现这个陈述解决了我想的问题

  

虽然metaheuristics无法证明最佳性   他们发现的解决方案,精确的程序(理论上可以提供这样的认证,如果允许运行足够长的时间)经常被证明无法找到质量接近于领先的元启发式所获得的解决方案 - 特别是对于现实世界的问题,达到非常高的复杂程度

来自Glover,Fred W.和Gary A. Kochenberger,编辑。元启发式手册。卷。 57. Springer Science&商业媒体,2006年。

(犯了一个愚蠢的错误,就是不复制整个句子,现在已经完成了)