Question

我想计算information gain数据集上的20_newsgroup。

我正在使用代码here（也将代码的副本放在问题的下面）。

如您所见，算法的输入为X,y 我的困惑是，X将会是matrix，其中documents行和features as column。（根据20_newsgroup为11314,1000 如果我只考虑了1000个功能）。

但是根据信息增益的概念，它应该计算each feature.

的信息增益

（因此，我希望看到代码以某种方式遍历每个功能，因此该功能的输入是一个矩阵，其中行是要素，列是类）

但是X不是这里的功能，而是X代表文档，我看不到代码中负责该部分的部分！（我的意思是考虑每个文档，然后遍历该文档的每个功能；就像遍历行，但同时遍历列一样，因为功能存储在列中。）

我已经阅读了this和this以及许多类似的问题，但是就输入矩阵的形状而言它们并不清楚。

这是读取20_newsgroup的代码：

newsgroup_train = fetch_20newsgroups(subset='train')
X,y = newsgroup_train.data,newsgroup_train.target

cv = CountVectorizer(max_df=0.99,min_df=0.001, max_features=1000,stop_words='english',lowercase=True,analyzer='word')
X_vec = cv.fit_transform(X)

(X_vec.shape)为（11314,1000），这不是20_newsgroup数据集中的功能。我在想我是否以错误的方式计算信息获取？

这是Information gain的代码：

def information_gain(X, y):

    def _calIg():
        entropy_x_set = 0
        entropy_x_not_set = 0
        for c in classCnt:
            probs = classCnt[c] / float(featureTot)
            entropy_x_set = entropy_x_set - probs * np.log(probs)
            probs = (classTotCnt[c] - classCnt[c]) / float(tot - featureTot)
            entropy_x_not_set = entropy_x_not_set - probs * np.log(probs)
        for c in classTotCnt:
            if c not in classCnt:
                probs = classTotCnt[c] / float(tot - featureTot)
                entropy_x_not_set = entropy_x_not_set - probs * np.log(probs)
        return entropy_before - ((featureTot / float(tot)) * entropy_x_set
                             +  ((tot - featureTot) / float(tot)) * entropy_x_not_set)

    tot = X.shape[0]
    classTotCnt = {}
    entropy_before = 0
    for i in y:
        if i not in classTotCnt:
            classTotCnt[i] = 1
        else:
            classTotCnt[i] = classTotCnt[i] + 1
    for c in classTotCnt:
        probs = classTotCnt[c] / float(tot)
        entropy_before = entropy_before - probs * np.log(probs)

    nz = X.T.nonzero()
    pre = 0
    classCnt = {}
    featureTot = 0
    information_gain = []
    for i in range(0, len(nz[0])):
        if (i != 0 and nz[0][i] != pre):
            for notappear in range(pre+1, nz[0][i]):
                information_gain.append(0)
            ig = _calIg()
            information_gain.append(ig)
            pre = nz[0][i]
            classCnt = {}
            featureTot = 0
        featureTot = featureTot + 1
        yclass = y[nz[1][i]]
        if yclass not in classCnt:
            classCnt[yclass] = 1
        else:
            classCnt[yclass] = classCnt[yclass] + 1
    ig = _calIg()
    information_gain.append(ig)

    return np.asarray(information_gain)

Answer 1

嗯，在详细阅读了代码之后，我对X.T.nonzero()有了更多的了解。

实际上，信息获取需要遍历功能是正确的。同样正确的是，矩阵scikit-learn是基于doc-features的。

但是：

在代码中，它使用X.T.nonzero()从技术上将所有非零值转换为数组。然后在下一行中循环遍历该数组范围的长度（0，len(X.T.nonzero()[0])。

总体而言，这部分X.T.nonzero（）[0]正在将所有不为零的特征返回给我们：）

用于计算信息增益的输入形状

1 个答案: