我有一个损失函数mean{|| x^i - y^i ||^2}
,其中x^i
是第i个数据点。 || x^i - y^i ||^2 = sum_j (x^i_j - y^i_j)^2
。 (其中x^i_j
是第i个数据点的第j个变量)
我很容易使(x ^ i_j-y ^ i_j)^ 2之一爆炸到inf
我的替代方法是使用logsumexp(2 * log(abs(x^i_j - y^i_j)))
处理norm2,但我也可以将x^i_j - y^i_j
设为零。有数值稳定的方法吗?
我尝试了logsumexp(2 * log(abs(x^i_j - y^i_j) + 1e-20))
,但效果不是很好,因为我需要向后区分此损失函数,因此梯度有时仍会Nan