numpy csr矩阵"意味着"函数在所有矩阵上做均值?如何删除某个值?

时间:2017-04-15 15:05:52

标签: python numpy matrix mean

我有一个numpy csr矩阵,我希望得到它的意思,但它包含很多零,因为我消除了主对角线上的所有值,低于它只取上面的​​三角形值,现在转换为数组时我的csr矩阵看起来像这样:

   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.          0.          0.
   0.          0.          0.          0.          0.63646664  0.34827262
   0.24316454  0.1362165   0.63646664  0.15762204  0.31692202  0.12114576
   0.35917146

据我所知,为了使csr矩阵能够工作并显示如下内容,这个零非常重要:

(0,5) 0.5790418
(3,10) 0.578210
(5,20) 0.912370
(67,5) 0.1093109

我看到csr矩阵有它自己的 mean function,但这是否意味着函数会考虑所有的零,因此除以数组中包含零的元素数量?因为我只需要非零值的均值。我的矩阵包含多个向量之间的相似性,更像是一个矩阵列表:

[[ 0.          0.63646664  0.48492084  0.42134077  0.14366401  0.10909745
   0.06172853  0.08116201  0.19100626  0.14517247  0.23814955  0.1899649
   0.20181049  0.25663533  0.21003358  0.10436352  0.2038447   1.
   0.63646664  0.34827262  0.24316454  0.1362165   0.63646664  0.15762204
   0.31692202  0.12114576  0.35917146]
 [ 0.          0.          0.58644824  0.4977052   0.15953415  0.46110612
   0.42580993  0.3236768   0.48874263  0.44671607  0.59153001  0.57868948
   0.27357541  0.51645488  0.43317846  0.50985032  0.37317457  0.63646664
   1.          0.51529235  0.56963948  0.51218525  1.          0.38345582
   0.55396192  0.32287605  0.46700191]
 [ 0.          0.          0.          0.6089113   0.53873289  0.3367261
   0.29264493  0.13232082  0.43288206  0.80079927  0.37842518  0.33658945
   0.61990095  0.54372307  0.49982101  0.23555037  0.39283379  0.48492084
   0.58644824  0.64524906  0.31279271  0.39476181  0.58644824  0.39028705
   0.43856802  0.32296735  0.5541861 ]]

那么我如何才能仅对非零值采用均值?

我的另一个问题是如何删除所有等于某事的值,正如我上面指出的那样,我可能必须将某个值变为零?但是我该怎么做?例如,我想摆脱所有等于1.0或更大的值? 这是我到目前为止制作矩阵的代码:

vectorized_words = parse.csr_matrix(vectorize_words(nostopwords,glove_dict))

#calculating the distance/similarity between each vector in the matrix
cos_similiarity = cosine_similarity(vectorized_words, dense_output=False)
# since there are duplicates like (5,0) and (0,5) which we should remove, I use scipy's triu function
coo_cossim = cos_similiarity.tocoo()
vector_similarities = sparse.triu(coo_cossim, k = 1).tocsr()

1 个答案:

答案 0 :(得分:4)

是的,csr_matrix.mean()在计算平均值时确实包含了所有零。举个简单的例子:

from scipy.sparse import csr_matrix

m = csr_matrix(([1,1], ([2,3],[3,3])), shape=(5,5))
m.toarray()

# returns:
array([[0, 0, 0, 0, 0],
       [0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0],
       [0, 0, 0, 1, 0],
       [0, 0, 0, 0, 0]], dtype=int32)

# test the mean method
m.mean(), m.mean(axis=0), m.mean(axis=1)

# returns:
0.080000000000000002,
matrix([[ 0. ,  0. ,  0. ,  0.4,  0. ]]),
matrix([[ 0. ],
        [ 0. ],
        [ 0.2],
        [ 0.2],
        [ 0. ]])

如果需要执行不包含零的计算,则必须使用其他方法构建结果。尽管如此,这并不是很难:

nonzero_mean = m.sum() / m.count_nonzero()