自定义损耗功能使用Keras 2.1.4产生极低的损耗值

时间:2018-02-18 09:42:10

标签: python tensorflow keras loss-function

我正在处理数值和分类值(时间序列)的数据集。这是变量的样本:
A B C_1 C_2 D_1 D_2 D_3
前两个是数值变量,C和D是具有单一表示的分类变量。

低于我的自定义丢失功能。我使用partial来将两个以上的参数传递给函数:

def mixed_num_cat_loss_backend(y_true, y_pred, signals_splits):
    if isinstance(y_true, np.ndarray):
        y_true = keras.backend.variable( y_true )
    if isinstance(y_pred, np.ndarray):
        y_pred = keras.backend.variable( y_pred )

    y_true_mse = y_true[:,:signals_splits[0]] 
    y_pred_mse = y_pred[:,:signals_splits[0]]
    mse_loss_v = keras.backend.square(y_true_mse-y_pred_mse)

    categ_loss_v = [ keras.backend.categorical_crossentropy(
                             y_pred[:,signals_splits[i-1]:signals_splits[i]], #keras.backend.softmax(y_pred[:,signals_splits[i-1]:signals_splits[i]]), 
                             y_true[:,signals_splits[i-1]:signals_splits[i]], 
                         from_logits=False) # force keras to normalize
                    for i in range(1,len(signals_splits)) ]

    losses_v = keras.backend.concatenate( [mse_loss_v, keras.backend.stack(categ_loss_v,1)], 1)

    return losses_v

在一个时代之后,我的损失值非常低:

Epoch 1/100
76s - loss: 0.1040 - acc: 0.1781 - val_loss: 0.0016 - val_acc: 0.1330  
Epoch 2/100  
75s - loss: 9.2523e-04 - acc: 0.1788 - val_loss: 8.7442e-04 - val_acc: 0.1330

重点是,当我使用Keras 2.0.4时,我不会遇到此问题。

1 个答案:

答案 0 :(得分:1)

自Keras 2.0.7以来,交叉熵后端方法的签名发生了变化。根据{{​​3}},

  

后端方法categorical_crossentropy,   sparse_categorical_crossentropybinary_crossentropy的顺序为。{1}}   他们的位置论证(y_truey_pred)倒置了。这种改变确实如此   不会影响losses API。完成此更改是为了实现API   losses API与后端API之间的一致性。

因此,在较新版本的Keras中调用y_true时,您应该切换y_predcategorical_crossentropy的位置。