具有权重约束的逻辑回归（非nagetive，降序）

Question

我在接受采访时被问到，如果采用权重约束的逻辑回归，例如 1.weights都是非负的， 2.weights是保持降序可以获得全局最优，我知道没有约束它可以达到全局最优，在非约束条件下我认为通过使用具有kkt条件的拉格朗日乘数可以设法局部最优，但是有没有办法通过使用某种方法来获得局部最优下降权重

Answer 1

对权重顺序的约束仅将搜索限制在权重空间的区域，并且可能性的最大值在该区域内或在其边界上。这与非负权重的情况相同，只是具有不同的区域。在二维中，w1＆lt; w2是线w1 = w2以下的区域。我在将图片推广到更高的尺寸时遇到了麻烦，但也许你可以做到。

注意约束优化。使约束发挥作用仅给出约束的最大约束，即在允许区域的边界上的解。如果无约束的全局最大值在该区域内，则满足约束，并且您不需要使用约束。所以解决这个问题的方法是首先找到无约束的最大值。如果它在该地区内，那么你已经完成了。否则，您需要解决约束问题。

这个问题可能更适合stats.stackexchange.com。