Question

我有一个表（X，Y），其中X是矩阵，Y是类的向量。这是一个例子：

X = 0 0 1 0 1   and Y = 1
    0 1 0 0 0           1
    1 1 1 0 1           0

我想使用Mann-Whitney U测试来计算特征重要性（特征选择）

from scipy.stats import mannwhitneyu
results = np.zeros((X.shape[1],2))
for i in xrange(X.shape[1]):
    u, prob = mannwhitneyu(X[:,i], Y)
    results[i,:] = u, pro

我不确定这是正确还是不对？我为一些大表获得了大值，u = 990用于某些列。

Answer 1

我不认为使用Mann-Whitney U测试是进行特征选择的好方法。 Mann-Whitney测试两个变量的分布是否相同，它没有告诉你变量的相关性。例如：

>>> from scipy.stats import mannwhitneyu
>>> a = np.arange(100)
>>> b = np.arange(100)
>>> np.random.shuffle(b)
>>> np.corrcoef(a,b)
   array([[ 1.        , -0.07155116],
          [-0.07155116,  1.        ]])
>>> mannwhitneyu(a, b)
(5000.0, 0.49951259627554112) # result for almost not correlated
>>> mannwhitneyu(a, a)
(5000.0, 0.49951259627554112) # result for perfectly correlated

由于a和b具有相同的分布，我们无法拒绝分布相同的原假设。

由于在功能选择中您正在尝试查找主要解释Y的功能，因此Mann-Whitney U对此没有帮助。

如何在学习中使用Mann-Whitney U检验

1 个答案: