如何用梯度下降优化非负约束

Question

我有以下形式的优化，

argmin_W f（W） S.T. W_i＆gt; 0，对于所有我

其中W是向量，f（W）是W上的函数。 我知道如何在没有非负约束的情况下进行优化。但我不确定如何用梯度下降来优化它。

Answer 1

开放集的优化非常棘手，所以让我们假设awk '{ system("kill -15 " $1)}'，因此你可以使用很多方法：

• 优化整个域的f（| W |）
• 将GD用于f（W）但在每次迭代后将您的解决方案投射回域，因此将W = | W |
• 使用约束优化技术，例如L-BFGS-B

Answer 2

我认为没有一种通用而简单的方法。您必须在每个点进行某种搜索，以确保满足约束条件（line search，trust regions等技术。）

或许f有一些你可以利用的结构。