Question

在nloptr包中，像lbfgs()这样的函数似乎需要渐变函数。但如果我不提供渐变功能，它们也可以工作。

我的问题是：nloptr是自动计算渐变函数，还是像lbfgs()这样的函数不需要渐变函数？

如果目标函数非常复杂，nloptr可以自动计算梯度函数，还是必须由用户提供？

library(nloptr)

## example for auglag()
x0 <- c(1, 1)
fn <- function(x) {
  (x[1] - 2) ^ 2 + (x[2] - 1) ^ 2
}

hin <- function(x) {
  -0.25 * x[1] ^ 2 - x[2] ^ 2 + 1 # hin >= 0
}

heq <- function(x) {
  x[1] - 2 * x[2] + 1 # heq == 0
}
## it works even gr = NULL
auglag(x0, fn, gr = NULL, hin = hin, heq = heq, localsolver = "LBFGS")

gr <- function(x) nl.grad(x, fn)
## it also works, when provide the gradient function.
auglag(x0, fn, gr = gr, hin = hin, heq = heq, localsolver = "LBFGS")

Answer 1

从?lbfgs开始，我们读到如果未提供渐变，此函数确实会自动计算渐变：

gr：函数fn的渐变;如果不是，将以数字方式计算指定。

深入研究lbfgs的源代码，我们看到它使用nl.grad函数执行此操作：

if (is.null(gr)) {
    gr <- function(x) nl.grad(x, fn)
}

从nl.grad（或来自?nl.grad）的源代码，很明显该函数执行central differences来数值计算渐变。这种估计梯度的方法仅仅是评估2k点附近k个变量的函数，这对于简单函数和复杂函数都同样适用。

nloptr：lbfgs（）在进行优化时是否需要显式提供渐变函数？

1 个答案: