Question

optimx（）是否提供了错误的解决方案，或者我错过了一个简单的观点？谢谢！

我试图最大化一个非常简单的可能性。这是非参数可能性从某种意义上说，F的分布没有参数化地指定。相反，对于每个观察到的xi，f(xi)=pi以及log(Likelihood)=Sum(log(f(xi)))=Sum(log(pi))。

我想要最大化的功能是：sum(log(pi))+lamda(sum(pi-1)) 其中sum(pi)=1（即这是一个可以使用拉格朗日乘数求解的约束最大化问题）。

此问题的答案是pi=1/n，其中n是数据点的数量。但是，optimx似乎没有给出这个解决方案。有没有人有任何想法。如果n=2，我最大化的功能是log(p1)+log(p2)+lamda(p1+p2-1)。

这是我的代码和R：

的输出

n=2
log.like=function(p)
{
  lamda=p[n+1]
  ll=0
  for(i in 1:n){
    temp = log(p[i])+lamda*p[i]-lamda/(n)
    ll=ll+temp
  }
  return(-ll)
}


mle = optimx(c(0.48,.52,-1.5),
             log.like,
             lower=c(rep(0.1,2),-3),
             upper=c(rep(.9,2),-1),
             method = "L-BFGS-B")

> mle
             par  fvalues   method fns grs itns conv  KKT1 KKT2 xtimes
1 0.9, 0.9, -1.0 1.010721 L-BFGS-B   8   8 NULL    0 FALSE   NA      0

n=2为p1=p2=1/2和lamda=-2时等式的解。但是，使用optimx时我没有得到这个。有什么想法吗？

Answer 1

optimx没有错。退一步看看你想要最大化的功能：log(p1) + log(p2) + lamda*(p1+p2-1)。非常直观的是，最佳解决方案是使所有变量尽可能大，不是吗？看到optimx正确地返回了您指定的上限。

那你的方法有什么问题？当使用拉格朗日乘数时，临界点是上述函数的鞍点，而不是像optimx这样的局部最小值可以帮助您找到。因此，您需要以这样的方式修改您的问题，使这些鞍点成为局部最小值。这可以通过优化梯度的标准来完成，这很容易通过分析计算您的问题。这里有一个很好的例子（带图片）：

http://en.wikipedia.org/wiki/Lagrange_multiplier#Example:_numerical_optimization

对于你的问题：

grad.norm <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  h2 <- sum((1/p + lambda)^2) + (sum(p) - 1)^2
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                               par      fvalues   method  fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038786e-09 L-BFGS-B  13  13 [...]

跟进：如果您不想或不能自己计算渐变，可以让R计算一个数值近似值，例如：

log.like <- function(x) {
  lambda <- tail(x, 1)
  p <- head(x, -1)
  return(sum(log(p)) + lambda*(sum(p) - 1))
}

grad.norm <- function(x) {
  require(numDeriv)
  return(sum(grad(log.like, x)^2))
}

optimx(c(.48, .52, -1.5),
       grad.norm,
       lower = c(rep(.1, 2), -3),
       upper = c(rep(.9, 2), -1),
       method = "L-BFGS-B")

#                                par      fvalues   method fns grs [...]
# 1 0.5000161, 0.5000161, -1.9999356 1.038784e-09 L-BFGS-B  13  13 [...]

为什么R中的optimx没有给出这个简单的非参数似然最大化的正确解？

optimx（）是否提供了错误的解决方案，或者我错过了一个简单的观点？谢谢！

1 个答案: