Question

我使用均方误差来计算多输出回归量的损失函数。我使用了具有一对多架构的递归神经网络模型。我的输出向量大小为6（1 * 6），值是单调的（非递减）。

例如： y_i = [1,3,6,13,30,57,201]

我想强制模型学习这种依赖。因此，在成本函数中添加约束。我在验证集上得到的错误等于300。我相信在编辑均方误差损失函数后，我将能够获得更好的性能。

我正在使用keras来实现。这是核心模型。

batchSize = 256
epochs = 20

samplesData = trainX
samplesLabels = trainY

print("Compiling neural network model...")

Model = Sequential()
Model.add(LSTM(input_shape = (98,),input_dim=98, output_dim=128, return_sequences=True))
Model.add(Dropout(0.2))
#Model.add(LSTM(128, return_sequences=True))
#Model.add(Dropout(0.2))
Model.add(TimeDistributedDense(7))  
#rmsprop = rmsprop(lr=0.0, decay=0.0)
Model.compile(loss='mean_squared_error', optimizer='rmsprop')
Model.summary()
print("Training model...")
# learning schedule callback
#lrate = LearningRateScheduler(step_decay)
#callbacks_list = [lrate]
history = Model.fit(samplesData, samplesLabels, batch_size=batchSize, nb_epoch= epochs, verbose=1,
                             validation_split=0.2, show_accuracy=True)
print("model training has been completed.")

有关学习率，衰退等的任何其他提示都表示赞赏。

Answer 1

将均方误差保持为公制。请改用Smooth L1 loss。这是我的实施。

#Define Smooth L1 Loss
def l1_smooth_loss(y_true, y_pred):
    abs_loss = tf.abs(y_true - y_pred)
    sq_loss = 0.5 * (y_true - y_pred)**2
    l1_loss = tf.where(tf.less(abs_loss, 1.0), sq_loss, abs_loss - 0.5)
    return tf.reduce_sum(l1_loss, -1)    
#And

Model.compile(loss='l1_smooth_loss', optimizer='rmsprop')

在多输出回归中将约束添加到均方误差成本函数

1 个答案: