Question

我有一个Python scipy csr_matrix，如下所示。

A = csr_matrix(np.random.choice(a=[0, 1, 2, 3, 4], 
                                p=[0.35, 0.2, 0.15, 0.15, 0.15], 
                                size=[10, 12]))

密集的表示形式是：

[[0 2 1 2 1 0 2 0 4 2 1 2]
 [0 0 1 0 2 1 0 0 0 1 4 0]
 [1 3 3 2 1 1 3 0 0 4 2 0]
 [4 0 0 0 0 1 1 2 1 3 0 3]
 [3 0 3 1 1 3 0 3 4 4 4 0]
 [0 4 0 3 0 4 4 4 0 0 3 2]
 [0 3 0 0 3 0 1 0 3 0 0 0]
 [0 2 0 1 2 0 4 1 3 2 1 0]
 [0 2 0 4 1 1 1 3 4 2 1 1]
 [0 2 3 0 3 0 4 2 3 0 4 1]]

现在，我希望每行保留六个最大的元素，并将其余元素设置为零。如果有多个元素相等，那么只要每行只有六个非零元素，选择哪个元素保持不变以及哪一个被设置为零并不重要。我们可以例如说具有较低指数的元素保持不变。然后将（手动制作）上述矩阵的预期结果：

[[0 2 1 2 0 0 2 0 4 2 0 2]
 [0 0 1 0 2 1 0 0 0 1 4 0]
 [1 3 3 2 0 0 3 0 0 4 2 0]
 [4 0 0 0 0 1 1 2 0 3 0 3]
 [3 0 3 0 0 3 0 0 4 4 4 0]
 [0 4 0 3 0 4 4 4 0 0 3 0]
 [0 3 0 0 3 0 1 0 3 0 0 0]
 [0 2 0 1 2 0 4 0 3 2 0 0]
 [0 2 0 4 1 0 0 3 4 2 0 0]
 [0 2 3 0 3 0 4 0 3 0 4 0]]

我可以想办法通过循环遍历行来实现这一点，但是真正的矩阵是巨大的，所以我宁愿将循环保持在最小。有没有人提示如何开始解决这个问题？

修改

以下代码片段完全符合我的要求，但效率非常低。以这种方式转换3000 x 300矩阵需要9.3秒。

from timeit import timeit
import warnings

from scipy.sparse import csr_matrix, SparseEfficiencyWarning

import numpy as np


__updated__ = '2015-03-12'


def random_csr_matrix():
    np.random.seed(1)
    A = csr_matrix(np.random.choice(a=[0, 1, 2, 3, 4],
                                    p=[0.35, 0.2, 0.15, 0.15, 0.15],
                                    size=[3000, 300]))
    return A

def keep_top_N_in_csr_matrix(A, N):
    warnings.simplefilter('ignore', SparseEfficiencyWarning)

#     print ('\nBefore:')
#     print (A.todense())


    N_rows = A.shape[0]
    for i in range(N_rows):
        row = np.squeeze(np.asarray(A.getrow(i).todense()))
        A[i, :] = keep_top_N_in_np_array(row, N)

#     print ('\nAfter:')
#     print (A.todense())

def keep_top_N_in_np_array(A, N):
    assert (A >= 0).all(), 'All elements shall be nonnegative'

    for _ in range(N):
        i_max = A.argmax()
        A[i_max] = -A[i_max]
    A = np.array([-i if i < 0 else 0 for i in A])

    return A

def doit_once():
    A = random_csr_matrix()
    keep_top_N_in_csr_matrix(A, 6)

if __name__ == '__main__':
    print (timeit(doit_once, number=1))

Answer 1

以下是对csr_matrix：

中每一行进行操作的解决方案

import numpy as np
from scipy.sparse import *
import scipy as sp

A = csr_matrix(
    np.random.choice(a=[0, 1, 2, 3, 4],
                     p=[0.35, 0.2, 0.15, 0.15, 0.15],
                     size=[10, 12])
)

B = A.copy()
print A.todense()

for i in range(10):
    # Get the row slice, not a copy, only the non zero elements
    row_array = A.data[A.indptr[i]: A.indptr[i+1]]
    if row_array.shape[0] <= 6:
        # Not more than six elements
        continue

    # only take the six last elements in the sorted indeces
    row_array[np.argsort(row_array)[:-6]] = 0

print 'A_mod: ', A.todense()
print 'B: ', B.todense()
print B.todense() - A.todense()

在循环的每次迭代中，您都不会获得每行的副本，而是获得引用。因此，对row_array的修改也将更改稀疏矩阵A中的相应行。您可以在循环中调整行操作以满足更具体的标准。

<强>更新

根据其他答案的灵感，使用了argsort或sort。在这个调整之后，稀疏矩阵中只剩下六个元素。

Answer 2

这对我有用

import numpy as np
import numpy.random

A = numpy.random.randint(5,size=(10,15))
s = A.shape
print A

ind = np.argsort(A)[:,:s[1]-6]
rows = np.arange(s[0])[:,None]

A[rows,ind] = 0
print A

输出：

[[4 3 4 1 1 1 1 2 2 1 1 3 0 4 3]
 [2 2 4 1 3 2 1 4 3 3 4 1 0 0 1]
 [2 3 3 0 4 0 2 3 3 1 0 1 3 3 0]
 [1 0 0 1 4 1 0 0 4 2 2 3 2 1 0]
 [4 2 1 4 4 1 3 0 3 0 2 2 3 1 0]
 [0 0 0 4 2 1 0 3 0 2 3 3 0 0 3]
 [0 2 2 4 2 3 2 3 3 2 0 4 4 1 2]
 [4 0 0 2 4 2 4 3 4 4 4 2 1 4 3]
 [1 0 2 0 0 4 4 3 3 4 2 0 2 1 0]
 [0 4 0 1 0 3 4 3 2 2 2 3 0 1 2]]

[[4 3 4 0 0 0 0 0 0 0 0 3 0 4 3]
 [0 0 4 0 3 0 0 4 3 3 4 0 0 0 0]
 [0 0 3 0 4 0 0 3 3 0 0 0 3 3 0]
 [0 0 0 0 4 0 0 0 4 2 2 3 2 0 0]
 [4 0 0 4 4 0 3 0 3 0 0 0 3 0 0]
 [0 0 0 4 0 0 0 3 0 2 3 3 0 0 3]
 [0 0 0 4 0 3 0 3 3 0 0 4 4 0 0]
 [0 0 0 0 4 0 4 0 4 4 4 0 0 4 0]
 [0 0 0 0 0 4 4 3 3 4 0 0 2 0 0]
 [0 4 0 0 0 3 4 3 0 0 0 3 0 0 2]]

每行保留csr_matrix中最大的6个元素

2 个答案: