如何找到非凸函数的代理

时间:2015-07-27 06:52:17

标签: machine-learning supervised-learning loss

我正在学习排名。我发现一些损失函数,例如0/1损失,不能直接最小化为非凸或不连续等。这在其他损失函数的情况下也是如此。

因此,研究人员使用另一种称为“凸代理”的损失函数,它“限制”了0/1类型的损失,并且他们试图最小化损失函数的替代,以找到参数(如果我理解正确的话) )。

我的问题是,在给出非凸损失函数的情况下,找到代理函数的过程是什么?

在哪里我可以阅读我有一个非凸损失函数的步骤,我想设置它的代理损失?

另外我怎么知道某个函数是丢失0/1的上限。

以及如何提出这个约束?

1 个答案:

答案 0 :(得分:4)

设计好的代理函数是一个研究课题,因为定义这样的函数实际上导致了新的机器学习模型的构建。没有"规则"这样做 - 这是研究的内容。从实际角度来看,你应该探索许多现有的功能,因为它们不是很受欢迎的功能。 - 他们很好,很好理解和有用。

你如何检查损失函数是否限制了当前的损失函数?你提供了一个数学证明。您有真正的损失l(x,y,p)和代理s(x,y,p),您所要做的就是展示l(x,y,p)<=s(x,y,p),这样您就可以提供不平等的证明。同样,没有一条规则,这只是应用数学,分析101。