以下代码
from sklearn import metrics
import numpy as np
y_true = np.array([[0.2,0.8,0],[0.9,0.05,0.05]])
y_predict = np.array([[0.5,0.5,0.0],[0.5,0.4,0.1]])
metrics.log_loss(y_true, y_predict)
产生以下错误:
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-32-24beeb19448b> in <module>()
----> 1 metrics.log_loss(y_true, y_predict)
~\AppData\Local\conda\conda\envs\tensorflow\lib\site-packages\sklearn\metrics\classification.py in log_loss(y_true, y_pred, eps, normalize, sample_weight, labels)
1646 lb.fit(labels)
1647 else:
-> 1648 lb.fit(y_true)
1649
1650 if len(lb.classes_) == 1:
~\AppData\Local\conda\conda\envs\tensorflow\lib\site-packages\sklearn\preprocessing\label.py in fit(self, y)
276 self.y_type_ = type_of_target(y)
277 if 'multioutput' in self.y_type_:
--> 278 raise ValueError("Multioutput target data is not supported with "
279 "label binarization")
280 if _num_samples(y) == 0:
ValueError: Multioutput target data is not supported with label binarization
我很好奇为什么。我正在尝试重新读取日志丢失的定义,并且找不到任何会导致计算错误的内容。
答案 0 :(得分:2)
源代码表明metrics.log_loss不支持y_true
中的概率。它仅支持形状(n_samples, n_classes)
的二进制指示符,例如[[0,0,1],[1,0,0]]
或形状(n_samples,)
的类标签,例如[2, 0]
。在后一种情况下,类标签将进行单热编码,在计算对数丢失之前看起来像指标矩阵。
在这个块中:
lb = LabelBinarizer()
if labels is not None:
lb.fit(labels)
else:
lb.fit(y_true)
您已达到lb.fit(y_true)
,如果y_true
不是全部1
和/或0
,则会失败。例如:
>>> import numpy as np
>>> from sklearn import preprocessing
>>> lb = preprocessing.LabelBinarizer()
>>> lb.fit(np.array([[0,1,0],[1,0,0]]))
LabelBinarizer(neg_label=0, pos_label=1, sparse_output=False)
>>> lb.fit(np.array([[0.2,0.8,0],[0.9,0.05,0.05]]))
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/home/imran/.pyenv/versions/anaconda3-4.4.0/lib/python3.6/site-packages/sklearn/preprocessing/label.py", line 278, in fit
raise ValueError("Multioutput target data is not supported with "
ValueError: Multioutput target data is not supported with label binarization
我会定义你自己的自定义日志丢失功能:
def logloss(y_true, y_pred, eps=1e-15):
y_pred = np.clip(y_pred, eps, 1 - eps)
return -(y_true * np.log(y_pred)).sum(axis=1).mean()
以下是您数据的输出:
>>> logloss(y_true, y_predict)
0.738961717153653
答案 1 :(得分:1)
不,我不是在谈论二元分类。
除非另有说明,否则您在上面显示的y_true
和y_predict
不会被视为分类目标。
首先,因为它们是概率所以它可以采用任何连续值,因此它被检测为scikit中的回归。
其次,y_pred或y_true中的每个元素都是概率列表。这被检测为多输出。因此,&#34;多输出目标的错误&#34;。
您需要提供log_loss
的实际标签,而不是y_true(基本事实)的概率。顺便说一句,为什么你有这样的概率?可能存在预测数据的概率,但实际数据的原因是什么?
为此,您需要首先将y_true
的概率转换为标签,将最高概率视为获胜者类别。
这可以通过numpy.argmax使用以下代码完成:
import numpy as np
y_true = np.argmax(y_true, axis=1)
print(y_true)
Output:- [0, 1]
# We will not do this the above for y_predict, because probabilities are allowed in it.
# We will use labels param to declare that we have actually 3 classes,
# as evident from your probabilities.
metrics.log_loss(y_true, y_predict, labels=[0,1,2])
Output:- 0.6931471805599458
正如@Imran所讨论的,这里有一个y_true
值不是0或1的例子。
下面的示例只是检查是否允许其他值:
y_true = np.array([0, 1, 2])
y_pred = np.array([[0.5,0.5,0.0],[0.5,0.4,0.1], [0.4,0.1,0.5]])
metrics.log_loss(y_true, y_pred)
Output:- 1.3040076684760489 (No error)