Question

我正在尝试使用sklearn库中的make_classification来生成用于分类任务的数据，并且我希望每个类都具有4个样本。

如果类数小于19，则表示行为正常。

from sklearn.datasets import make_blobs, make_classification
import numpy as np
data = make_classification(n_samples=76, n_features=5, n_informative=5, n_redundant=0, n_repeated=0, 
                           n_classes=19, n_clusters_per_class=1, weights=None, flip_y=0, class_sep=1.0, 
                           shuffle=False, random_state=101)
print(data[1])
[ 0  0  0  0  1  1  1  1  2  2  2  2  3  3  3  3  4  4  4  4  5  5  5  5
  6  6  6  6  7  7  7  7  8  8  8  8  9  9  9  9 10 10 10 10 11 11 11 11
 12 12 12 12 13 13 13 13 14 14 14 14 15 15 15 15 16 16 16 16 17 17 17 17
 18 18 18 18]

但是，如果类数等于或大于20，则第一类将有5个样本，最后一个类将只有3个样本，这是不平衡的。

data = make_classification(n_samples=80, n_features=5, n_informative=5, n_redundant=0, n_repeated=0, 
                           n_classes=20, n_clusters_per_class=1, weights=None, flip_y=0, class_sep=1.0, 
                           shuffle=False, random_state=101)
print(data[1])
[ 0  0  0  0  0  1  1  1  1  2  2  2  2  3  3  3  3  4  4  4  4  5  5  5
  5  6  6  6  6  7  7  7  7  8  8  8  8  9  9  9  9 10 10 10 10 11 11 11
 11 12 12 12 12 13 13 13 13 14 14 14 14 15 15 15 15 16 16 16 16 17 17 17
 17 18 18 18 18 19 19 19]

在检查文档时，我发现weight参数控制着classes的比例：

weights：浮点数列表或无（默认值：无）

分配给每个类别的样本比例。如果没有，则   类是平衡的。请注意，如果len（weights）== n_classes-1，则   最后一课的体重会自动推断出来。超过n_samples个   如果权重之和超过1，则可能会返回样品。

因此，我尝试使用以下代码明确输入比例。

data = make_classification(n_samples=80, n_features=5, n_informative=5, n_redundant=0, n_repeated=0, 
                           n_classes=20, n_clusters_per_class=1, weights=list(np.ones(20)), flip_y=0, class_sep=1.0, 
                           shuffle=False, random_state=101)
print(data[1])
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 0 0 0 0]

但是，生成的类是完全错误的。

我不确定为什么这个功能会这样。 n_classes大于或等于20时如何保证班级均衡？

Answer 1

尽管未明确提及且令人困惑，但参数weights要求样本的“比例”。它不会自动将数字转换为比例。

因此，如果样本总数= 80，并且您想将40个样本分配给第1类，则比例变为0.5。

但是，您提供的比例为：

[1.0, 1.0, 1.0, 1.0,.................., 1.0, 1.0, 1.0, 1.0]

那是错误的根源。该方法的头等舱接受1.0（在您的情况下为0），而忽略所有其他方法。

这样做：

n_classes = 20
weights=list(np.ones(20)/n_classes)  <== Making proportions correct

data = make_classification(n_samples=80, n_features=5, n_informative=5, n_redundant=0, n_repeated=0, 
                           n_classes=n_classes, n_clusters_per_class=1, weights=weights, flip_y=0, class_sep=1.0, 
                           shuffle=False, random_state=101)

正确返回：

array([ 0,  0,  0,  0,  1,  1,  1,  1,  2,  2,  2,  2,  3,  3,  3,  3,  4,
        4,  4,  4,  5,  5,  5,  5,  6,  6,  6,  6,  7,  7,  7,  7,  8,  8,
        8,  8,  9,  9,  9,  9, 10, 10, 10, 10, 11, 11, 11, 11, 12, 12, 12,
       12, 13, 13, 13, 13, 14, 14, 14, 14, 15, 15, 15, 15, 16, 16, 16, 16,
       17, 17, 17, 17, 18, 18, 18, 18, 19, 19, 19, 19])

最后一行：

如果权重之和超过1，则可能返回n_samples个以上的样本。

似乎加剧了混乱。

当您对所有类别按比例传递1.0时，它应该返回80 * 20 = 1600个样本，每个类别返回80个样本。

但是它没有这样做。它在内部正确生成了样本，但是仅返回了前80个样本（由n_samples参数定义）。这就是为什么您只在生成的数据中返回单个类（0）的原因。您应该将此作为问题发布在他们在github上的页面上：https://github.com/scikit-learn/scikit-learn/issues

sklearn.datasets.make_classification无法生成平衡类

1 个答案: