Question

我正在尝试将 LogCosh 函数实现为自定义损失函数。执行此操作时出现错误，因为拟合阶段将 NaN 作为损失。更奇怪的是，当我大量运行它时，它开始给出损失的实际值，然后到达一个点，它再次开始返回 NaN。

我的模型：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(81,)),
    tf.keras.layers.Dense(300, activation='relu'),
    tf.keras.layers.Dense(1)
])

我的损失函数和数据拟合：

def custom_loss(y_true, y_pred):
    x = y_true-y_pred
    return tf.math.log(tf.math.cosh(x))

model.compile(optimizer='adam',
              loss=custom_loss,
              metrics=['MeanAbsoluteError'])

model.fit(train_features, train_labels, epochs=3)

这给出了 NaN：

Train on 21263 samples
Epoch 1/3
21263/21263 [==============================] - 1s 65us/sample - loss: nan - MeanAbsoluteError: nan
Epoch 2/3
21263/21263 [==============================] - 1s 51us/sample - loss: nan - MeanAbsoluteError: nan
Epoch 3/3
21263/21263 [==============================] - 1s 57us/sample - loss: nan - MeanAbsoluteError: nan

为什么它是垃圾/我如何解决这个问题以便损失真正起作用？

Answer 1

您无需为此编写任何自定义函数。 LogCosh 已经是 TF 2.4 中可用的内置损失函数。

model.compile(optimizer='adam',
              loss=tf.keras.losses.LogCosh(),
              metrics=['MeanAbsoluteError'])

LogCosh 自定义损失函数返回 nan

1 个答案: