非凸优化器

时间:2016-03-03 08:51:42

标签: python-2.7 optimization scipy

我使用python2.7并且需要找到多变量标量函数的最大值。

换句话说,我有这个功能:

def myFun(a,b,c,d,e,f):
    # complex calculation that takes about 30 seconds
    return res # res is a float

此函数不凸。

我为每个参数a,b,c,d,e和f指定最小和最大可能值。我需要找到myFun的最大值得出的参数组合。我将为它提供一个不错的起点。

我尝试进行强力网格搜索,但考虑到我的函数计算需要多长时间,这是不可行的。

我已经研究了scipy包。我特别看到了scipy.optimize.fmin_slsqp函数。这适合我的问题吗?或许scipy.optimize.fmin()? 是否还有其他适用于此的功能/模块?

2 个答案:

答案 0 :(得分:4)

您可能想尝试CVXPY(http://www.cvxpy.org/en/latest),这奇怪地是CVXOPT(凸解算器)的非凸扩展。然后你可以使用CVXOPT进行凸优化或使用CVXPY进行非凸优化,无论你是否适合这个问题。

python中有很多非凸解算器,其中很多都列在这里:https://scicomp.stackexchange.com/questions/83/is-there-a-high-quality-nonlinear-programming-solver-for-python ...但似乎你实际上是在询问一个连续求解器,它可能是局部的或全局的,并且可以处理昂贵的功能。

就个人而言,我建议mystichttps://pypi.python.org/pypi/mystic)。是的,我是作者,但它已经获得了大约十年的资金支持,它可以解决高度约束的非凸问题,这些问题对其他软件包来说是无法解决的。它还可以处理具有非线性约束的基本凸优化。此外,mystic是为大规模并行计算而构建的,因此您可以在多个级别的优化中轻松利用并行计算。如果你有足够的资源,mystic可以进行整体优化,你可以想象能够进行网格搜索(你可以选择点的初始分布),而不是在网格上使用固定点,mystic使用并行启动的快速线性求解器。

以下是mystic附带的近100个示例之一:

'''
    Maximize: f = 2*x[0]*x[1] + 2*x[0] - x[0]**2 - 2*x[1]**2

    Subject to:    x[0]**3 - x[1] == 0
                             x[1] >= 1
'''

提出了两个解决方案(一个用于线性求解器,一个用于全局求解器):

def objective(x):
    return 2*x[0]*x[1] + 2*x[0] - x[0]**2 - 2*x[1]**2

equations = """
x0**3 - x1 == 0.0
"""
bounds = [(None, None),(1.0, None)]

# with penalty='penalty' applied, solution is:
xs = [1,1]; ys = -1.0

from mystic.symbolic import generate_conditions, generate_penalty
pf = generate_penalty(generate_conditions(equations), k=1e4)
from mystic.symbolic import generate_constraint, generate_solvers, solve
cf = generate_constraint(generate_solvers(solve(equations)))

# inverted objective, used in solving for the maximum
_objective = lambda x: -objective(x)


if __name__ == '__main__':

  from mystic.solvers import diffev2, fmin_powell
  from mystic.math import almostEqual

  result = diffev2(_objective, x0=bounds, bounds=bounds, constraint=cf, penalty=pf, npop=40, ftol=1e-8, gtol=100, disp=False, full_output=True)
  assert almostEqual(result[0], xs, rel=2e-2)
  assert almostEqual(result[1], ys, rel=2e-2)

  result = fmin_powell(_objective, x0=[-1.0,1.0], bounds=bounds, constraint=cf, penalty=pf, disp=False, full_output=True)
  assert almostEqual(result[0], xs, rel=2e-2)
  assert almostEqual(result[1], ys, rel=2e-2)

这是另一个:

"""
    Fit linear and quadratic polynomial to noisy data:
               y(x) ~ a + b * x   --or--   y(x) ~ a + b * x + c * x**2
    where:
               0 >= x >= 4
               y(x) = y0(x) + yn
               y0(x) = 1.5 * exp(-0.2 * x) + 0.3
               yn = 0.1 * Normal(0,1)
"""

使用解决方案:

from numpy import polyfit, poly1d, linspace, exp
from numpy.random import normal
from mystic.math import polyeval
from mystic import reduced

# Create clean data.
x = linspace(0, 4.0, 100)
y0 = 1.5 * exp(-0.2 * x) + 0.3

# Add a bit of noise.
noise = 0.1 * normal(size=100) 
y = y0 + noise

@reduced(lambda x,y: abs(x)+abs(y))
def objective(coeffs, x, y):
    return polyeval(coeffs, x) - y

bounds = [(None, None), (None, None), (None, None)]
args = (x, y)

# 'solution' is:
xs = polyfit(x, y, 2) 
ys = objective(xs, x, y)


if __name__ == '__main__':

  from mystic.solvers import diffev2, fmin_powell
  from mystic.math import almostEqual

  result = diffev2(objective, args=args, x0=bounds, bounds=bounds, npop=40, ftol=1e-8, gtol=100, disp=False, full_output=True)
  assert almostEqual(result[0], xs, tol=1e-1)
  assert almostEqual(result[1], ys, rel=1e-1)

  result = fmin_powell(objective, args=args, x0=[0.0,0.0,0.0], bounds=bounds, disp=False, full_output=True)
  assert almostEqual(result[0], xs, tol=1e-1)
  assert almostEqual(result[1], ys, rel=1e-1)

对于并行计算,mystic可以利用pathospyina(请参阅:https://github.com/uqfoundation两者),您只需传递所需的地图功能的分层配置用来并行运行。这很容易。它可能不是股票问题最快的,但它(在我看来)是你无法解决的问题的最佳选择(由于规模或复杂性)。

答案 1 :(得分:2)

我最近不得不进行非凸优化。我使用了L-BFGS method from scipy.optimize。它对我的目的来说效果很好。您可以找到有关选择与您的目的相关的优化程序的更多信息here。 scipy.optimize中的L-BFGS函数也可以为您逼近梯度,因为您的函数太复杂而无法找到渐变。