Question

我正在使用scikit-learn在Python中实现多项逻辑回归模型。但是，我想对目标变量的类使用概率分布。举个例子，假设这是一个3类变量，如下所示：

    class_1 class_2 class_3
0   0.0     0.0     1.0
1   1.0     0.0     0.0
2   0.0     0.5     0.5
3   0.2     0.3     0.5
4   0.5     0.1     0.4

这样每行的值总和等于1.

我怎么能适合这样的模特？当我尝试：

model = LogisticRegression(solver='saga', multi_class='multinomial')
model.fit(X, probabilities)

我收到错误说：

ValueError: bad input shape (10000, 3)

我所知道的是这个方法需要一个向量而不是一个矩阵。但是在这里我无法将probabilities矩阵压缩为向量，因为类不是独占的。

Answer 1

在scikit-learn中，您不能使用非指标概率进行交叉熵丢失;这没有实现，也不支持API。这是一个scikit-learn的限制。

对于逻辑回归，您可以根据标签的概率对实例进行上采样来近似。例如，您可以对每个实例10x进行上采样：例如如果对于训练实例，类1的概率为0.2，而类2的概率为0.8，则生成10个训练实例：8个用2级，2个用1级。它不会尽可能有效，但是在限制你将优化相同的目标函数。

您可以这样做：

from sklearn.utils import check_random_state
import numpy as np

def expand_dataset(X, y_proba, factor=10, random_state=None):
    """
    Convert a dataset with float multiclass probabilities to a dataset
    with indicator probabilities by duplicating X rows and sampling
    true labels.
    """
    rng = check_random_state(random_state)
    n_classes = y_proba.shape[1]
    classes = np.arange(n_classes, dtype=int)
    for x, probs in zip(X, y_proba):
        for label in rng.choice(classes, size=factor, p=probs):
            yield x, label

请在此处查看更完整的示例：https://github.com/TeamHG-Memex/eli5/blob/8cde96878f14c8f46e10627190abd9eb9e705ed4/eli5/lime/utils.py#L16

或者，您可以使用TensorFlow或PyTorch等库来实现Logistic回归;与scikit-learn不同，很容易定义这些框架中的任何损失，并且交叉熵可以开箱即用。

Answer 2

您需要使用训练数据输入正确的标签，然后当您使用predict_proba（X）时，逻辑回归模型将为您提供返回的概率，并且它将返回形状矩阵[n_samples，n_classes]。如果你使用一个只是预测（X）然后它会给你一个形状最可能的类的数组[n_samples，1]

scikit-learn - 以概率作为目标变量的多项Logistic回归

2 个答案: