Question

我有一组填充了布尔值的稀疏矩阵，我需要对它执行逻辑运算（主要是元素方式的OR）。

就像numpy一样，用dtype ='bool'求和矩阵给出了元素的OR，但是有一个令人讨厌的副作用：

>>> from scipy import sparse
>>> [a,b] = [sparse.rand(5,5,density=0.1,format='lil').astype('bool')
...  for x in range(2)]
>>> b
<5x5 sparse matrix of type '<class 'numpy.bool_'>'
    with 2 stored elements in LInked List format>
>>> a+b
<5x5 sparse matrix of type '<class 'numpy.int8'>'
    with 4 stored elements in Compressed Sparse Row format>

数据类型变为'int8'，这会导致将来的操作出现问题。这可以通过说：

来解决

(a+b).astype('bool')

但我得到的印象是，所有这种类型的改变都会导致性能下降。

为什么结果的dtype与操作数不同？
有没有更好的方法在python中对稀疏矩阵进行逻辑运算？

Answer 1

稀疏矩阵不支持逻辑运算，但转换回'bool'并不是那么昂贵。实际上，如果使用LIL格式矩阵，由于性能波动，转换可能会显示为负时间：

a = scipy.sparse.rand(10000, 10000, density=0.001, format='lil').astype('bool')
b = scipy.sparse.rand(10000, 10000, density=0.001, format='lil').astype('bool')

In [2]: %timeit a+b
10 loops, best of 3: 61.2 ms per loop

In [3]: %timeit (a+b).astype('bool')
10 loops, best of 3: 60.4 ms per loop

您可能已经注意到，在将LIL矩阵添加到一起之前，它们已转换为CSR格式，请查看返回格式。如果您已经开始使用CSR格式，那么转换开销就会变得更加明显：

In [14]: %timeit a+b
100 loops, best of 3: 2.28 ms per loop

In [15]: %timeit (a+b).astype(bool)
100 loops, best of 3: 2.96 ms per loop

CSR（和CSC）矩阵具有data属性，该属性是一维数组，用于保存稀疏矩阵的实际非零项，因此重构稀疏矩阵的成本将取决于非稀疏矩阵的数量-zero矩阵的条目，而不是它的大小：

a = scipy.sparse.rand(10000, 10000, density=0.0005, format='csr').astype('int8')
b = scipy.sparse.rand(1000, 1000, density=0.5, format='csr').astype('int8')

In [4]: %timeit a.astype('bool') # a is 10,000x10,000 with 50,000 non-zero entries
10000 loops, best of 3: 93.3 us per loop

In [5]: %timeit b.astype('bool') # b is 1,000x1,000 with 500,000 non-zero entries
1000 loops, best of 3: 1.7 ms per loop

Answer 2

您可以通过以下方式轻松地表示布尔运算。然后，它可以处理稀疏矩阵。

a.multiply(b) #AND
a+b           #OR
(a>b)+(a<b)   #XOR
a>b           #NOT

因此支持布尔运算。

scipy.sparse矩阵的布尔运算

2 个答案: