Question

我正试图从numpy中获得最大的性能，并且想知道是否有更好的方法来计算带有大量零的数组的点积例如：

a = np.array([[0, 3, 0], [1, 0, 1]])
print a.dot([1, 2, 5])

这是一个小例子，但是如果我们有一个更大的比例数组，可以在数组中的任何位置说80％零，我的问题是有更好或更好的方法来计算点积在那里是这么多零？

Answer 1

In [269]: from scipy import sparse
In [270]: M=sparse.random(1000,1000,.1, 'csr')
In [271]: MA = M.A
In [272]: timeit M*M.T
10 loops, best of 3: 64 ms per loop
In [273]: timeit MA@MA.T
10 loops, best of 3: 60.4 ms per loop

我定义了一个具有指定稀疏度的随机稀疏矩阵，10％：

In [274]: M
Out[274]: 
<1000x1000 sparse matrix of type '<class 'numpy.float64'>'
    with 100000 stored elements in Compressed Sparse Row format>
In [275]: np.allclose(MA@MA.T, (M*M.T).A)
Out[275]: True

@是dot的运算符表单（请参阅np.matmul）。因此，在这个10％的稀疏度水平上，这两种方法的时间相同（没有任何转换到/稀疏）。

对于此随机矩阵，M*M.T结果是密集的：

In [282]: (M*M.T)
Out[282]: 
<1000x1000 sparse matrix of type '<class 'numpy.float64'>'
    with 999964 stored elements in Compressed Sparse Row format>

稀疏时期在很大程度上取决于稀疏性;密集的时间根本不是

In [295]: M=sparse.random(1000,1000,.01, 'csr'); MA=M.A
In [296]: timeit M*M.T
100 loops, best of 3: 2.44 ms per loop
In [297]: timeit MA@MA.T
10 loops, best of 3: 56.3 ms per loop
In [298]: M=sparse.random(1000,1000,.2, 'csr'); MA=M.A
In [299]: timeit M*M.T
10 loops, best of 3: 175 ms per loop
In [300]: timeit MA@MA.T
10 loops, best of 3: 56.3 ms per loop

往返稀疏和后退，时间从60跳到100毫秒

In [302]: %%timeit
     ...: M1=sparse.csr_matrix(MA)
     ...: (M1*M1.T).A
     ...: 
10 loops, best of 3: 104 ms per loop

数组中的Numpy零

1 个答案: