自定义对比损失函数在训练时总是 nan

时间:2020-12-23 16:37:16

标签: tensorflow keras deep-learning neural-network loss-function

我正在构建我的第一个自定义损失函数,而且我对深度学习也很陌生。我真的不知道去哪里解决我的错误。

我的损失函数基于论文 Dimensionality Reduction by Invariant Mapping

def contrastive_loss(y_pairs, model_dist):
    margin = 1.5
    loss = (1-y_pairs)*tf.pow(model_dist,2)/2 + y_pairs * tf.pow(tf.math.maximum(0., margin - model_dist),2)/2
    return loss 

理论上它应该计算相似和不同对之间的平方距离。因此,我的模型的输出是两个输入之间的距离。我在我的模型中使用了一个嵌入层和两个密集层。 距离层计算如下:

dist_layer = layers.Lambda(lambda x: tf.norm(x[0] - x[1], axis=1), name = "dist_layer")
distance = dist_layer([encoded_l, encoded_r])

我的输入中没有任何遗漏,并且还尝试了学习率,但没有任何成功。正如我所说的,我什至不知道去哪里找,所以任何提示都可能会有所帮助! 提前致谢:)

0 个答案:

没有答案
相关问题