如何计算排名损失的梯度?

时间:2017-10-23 05:06:57

标签: neural-network nlp objective-function

我试图根据CS 224D: Deep Learning for NLP lecture note了解排名损失(a.k.a,最大保证金目标函数,MarginRankingLoss ......)。

在本文中,成本定义如下:J =(1 + sc - s)

s = f(θ,x),sc = f(θ,xc), x是正确的输入,而xc是错误的输入。

所以,s是好事的得分,sc是坏事的得分。

我的问题是: 要更新权重,我是否必须得到∂J/∂θ或∂s/∂θ?

我以为我必须做∂J/∂θ来更新θ。

因此,由于J = 1 + sc-s,∂J/∂θ=∂sc/∂θ - ∂s/∂θ。

所以我认为应该分别获得∂sc/∂θ和∂s/∂θ。

然而,在演讲笔记中,计算∂J/∂s= -1并使用此值更新网络。

我做错了什么?

0 个答案:

没有答案