实现norm2损失函数的数值稳定方法

时间:2019-01-04 16:11:37

标签: machine-learning numeric

我有一个损失函数mean{|| x^i - y^i ||^2},其中x^i是第i个数据点。 || x^i - y^i ||^2 = sum_j (x^i_j - y^i_j)^2。 (其中x^i_j是第i个数据点的第j个变量)

我很容易使(x ^ i_j-y ^ i_j)^ 2之一爆炸到inf

我的替代方法是使用logsumexp(2 * log(abs(x^i_j - y^i_j)))处理norm2,但我也可以将x^i_j - y^i_j设为零。有数值稳定的方法吗?

我尝试了logsumexp(2 * log(abs(x^i_j - y^i_j) + 1e-20)),但效果不是很好,因为我需要向后区分此损失函数,因此梯度有时仍会Nan

0 个答案:

没有答案