如何在keras中实现自定义指标?

时间:2016-06-06 12:17:34

标签: python neural-network deep-learning keras metrics

我收到此错误:

  

sum()得到了一个意想不到的关键字参数' out'

当我运行此代码时:

import pandas as pd, numpy as np
import keras
from keras.layers.core import Dense, Activation
from keras.models import Sequential

def AUC(y_true,y_pred):
    not_y_pred=np.logical_not(y_pred)
    y_int1=y_true*y_pred
    y_int0=np.logical_not(y_true)*not_y_pred
    TP=np.sum(y_pred*y_int1)
    FP=np.sum(y_pred)-TP
    TN=np.sum(not_y_pred*y_int0)
    FN=np.sum(not_y_pred)-TN
    TPR=np.float(TP)/(TP+FN)
    FPR=np.float(FP)/(FP+TN)
    return((1+TPR-FPR)/2)

# Input datasets

train_df = pd.DataFrame(np.random.rand(91,1000))
train_df.iloc[:,-2]=(train_df.iloc[:,-2]>0.8)*1


model = Sequential()
model.add(Dense(output_dim=60, input_dim=91, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.add(Dense(output_dim=1, input_dim=60, init="glorot_uniform"))
model.add(Activation("sigmoid"))

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=[AUC])


train_df.iloc[:,-1]=np.ones(train_df.shape[0]) #bias
X=train_df.iloc[:,:-1].values
Y=train_df.iloc[:,-1].values
print X.shape,Y.shape

model.fit(X, Y, batch_size=50,show_accuracy = False, verbose = 1)

除了批量循环和编辑源代码之外,是否可以实现自定义指标?

3 个答案:

答案 0 :(得分:13)

我在回答OP的主题问题,而不是他的确切问题。我正在这样做,因为当我讨论主题问题时问题出现在顶部。

您可以通过两种方式实施自定义指标。

  1. 正如Keras docu中所述。

    import keras.backend as K
    
    def mean_pred(y_true, y_pred):
        return K.mean(y_pred)
    
    model.compile(optimizer='sgd',
              loss='binary_crossentropy',
              metrics=['accuracy', mean_pred])
    

    但是在这里你必须记住MarcinMożejko的回答中提到y_truey_pred是张量。因此,为了正确计算指标,您需要使用keras.backend功能。有关详细信息How to calculate F1 Macro in Keras?

  2. ,请查看此SO问题
  3. 或者您可以按照Keras GH issue中提到的hacky方式实现它。为此,您需要使用callbacks的{​​{1}}参数。

    model.fit

答案 1 :(得分:9)

此代码不起作用,因为y_predy_true不是numpy数组,而是Theano或Tensor Flow张量。这就是你犯这个错误的原因。

您可以定义自定义指标,但必须记住它的参数是那些Tensors - 而不是numpy数组。

答案 2 :(得分:4)

您可以在AUC指标函数中传递model.predict()。 [这将迭代bacthes所以你可能最好使用model.predict_on_batch()。假设你有类似softmax图层的东西作为输出(输出概率的东西),那么你可以将它与sklearn.metric一起使用来获得AUC。

from sklearn.metrics import roc_curve, auc

来自here

def sklearnAUC(test_labels,test_prediction):
    n_classes = 2
    # Compute ROC curve and ROC area for each class
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(n_classes):
        # ( actual labels, predicted probabilities )
        fpr[i], tpr[i], _ = roc_curve(test_labels[:, i], test_prediction[:, i])
        roc_auc[i] = auc(fpr[i], tpr[i])

    return round(roc_auc[0],3) , round(roc_auc[1],3)

现在制定您的指标

# gives a numpy array like so [ [0.3,0.7] , [0.2,0.8] ....]    
Y_pred = model.predict_on_batch ( X_test  ) 
# Y_test looks something like [ [0,1] , [1,0] .... ]
# auc1 and auc2 should be equal
auc1 , auc2 = sklearnAUC(  Y_test ,  Y_pred )