Question

我有一个dtype = object的numpy数组，其中包含元素的多个其他数组，我需要将其转换为稀疏矩阵。

例如：

a = np.array([np.array([1,0,2]),np.array([1,3])])
array([array([1, 0, 2]), array([1, 3])], dtype=object)

我尝试了Convert numpy object array to sparse matrix给出的解决方案，但没有成功。

In [45]: M=sparse.coo_matrix(a)
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-45-d75020bb3a38> in <module>()
----> 1 M=sparse.coo_matrix(a)

/home/arturcastiel/.local/lib/python3.6/site-packages/scipy/sparse/coo.py in __init__(self, arg1, shape, dtype, copy)
    183                     self._shape = check_shape(M.shape)
    184 
--> 185                 self.row, self.col = M.nonzero()
    186                 self.data = M[self.row, self.col]
    187                 self.has_canonical_format = True

ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

正如评论中所解释的，这实际上是一个锯齿状的数组。本质上，此数组代表一个图，我必须将其转换为稀疏矩阵，以便可以使用scipy.sparse.csgraph.shortest_path例程。

因此

np.array([np.array([1,0,2]),np.array([1,3])])

应变为以下内容：

(1,1) 1
(1,2) 0
(1,3) 2
(2,1) 1
(2,2) 3

Answer 1

不能。尝试找到a的非零元素时，会出现此错误。稀疏矩阵仅存储矩阵的非零元素。试试

np.nonzero(a)

如果您的数组包含列表而不是列表，则可以正常工作-

In [615]: a = np.array([[1,0,1],[1,3]])                                              
In [616]: np.nonzero(a)                                                              
Out[616]: (array([0, 1]),)

In [618]: sparse.coo_matrix(a)                                                       
Out[618]: 
<1x2 sparse matrix of type '<class 'numpy.object_'>'
    with 2 stored elements in COOrdinate format>
In [619]: print(_)                                                                   
  (0, 0)    [1, 0, 1]
  (0, 1)    [1, 3]

请注意，这是一个（1,2）形状的数组，带有2个非零元素，这两个元素都是原始元素的列表（对象）。

但是coo格式几乎没有处理。例如，无法将其转换为csr进行计算：

In [622]: _618.tocsr()                                                               
---------------------------------------------------------------------------
TypeError: no supported conversion for types: (dtype('O'),)

如果数组没有锯齿，则可以将其制成有用的稀疏矩阵：

In [623]: a = np.array([[1,0,1],[1,3,0]])                                            
In [624]: a                                                                          
Out[624]: 
array([[1, 0, 1],
       [1, 3, 0]])

In [626]: sparse.coo_matrix(a)                                                       
Out[626]: 
<2x3 sparse matrix of type '<class 'numpy.int64'>'
    with 4 stored elements in COOrdinate format>
In [628]: print(_)                                                                   
  (0, 0)    1
  (0, 2)    1
  (1, 0)    1
  (1, 1)    3

请注意，省略了0值。在大型有用的稀疏矩阵中，超过90％的元素为零。

===

这是一种从数组数组构造稀疏矩阵的方法。我从row,col,data中的各个数组构建了coo格式矩阵的a属性。

In [630]: a = np.array([np.array([1,0,1]),np.array([1,3])])                          
In [631]: row, col, data = [],[],[]                                                  
In [632]: for i,n in enumerate(a): 
     ...:     row.extend([i]*len(n)) 
     ...:     col.extend(np.arange(len(n))) 
     ...:     data.extend(n) 
     ...:                                                                            
In [633]: row,col,data                                                               
Out[633]: ([0, 0, 0, 1, 1], [0, 1, 2, 0, 1], [1, 0, 1, 1, 3])
In [634]: M = sparse.coo_matrix((data, (row,col)))                                   
In [635]: M                                                                          
Out[635]: 
<2x3 sparse matrix of type '<class 'numpy.int64'>'
    with 5 stored elements in COOrdinate format>
In [636]: print(M)                                                                   
  (0, 0)    1
  (0, 1)    0
  (0, 2)    1
  (1, 0)    1
  (1, 1)    3
In [637]: M.A                                                                        
Out[637]: 
array([[1, 0, 1],
       [1, 3, 0]])

另一种替代方法是填充a以创建2d数字数组，并从中生成稀疏的数组。以前已经提出了使用各种解决方案来填充锯齿状列表/数组的问题。这是较容易记住和使用的一种：

In [658]: alist = list(zip(*(itertools.zip_longest(*a,fillvalue=0))))                                                                            
In [659]: alist                                                                      
Out[659]: [(1, 0, 1), (1, 3, 0)]
In [661]: sparse.coo_matrix(alist)                                                   
Out[661]: 
<2x3 sparse matrix of type '<class 'numpy.int64'>'
    with 4 stored elements in COOrdinate format>
In [662]: _.A                                                                        
Out[662]: 
array([[1, 0, 1],
       [1, 3, 0]])

Answer 2

如果您的数组有很多遗漏的尾随零，我会考虑使用dok_matrix：

In [98]: dok = sparse.dok_matrix((2, 3), dtype=np.int64)

In [99]: for r_num, row in enumerate(a):
    ...:     for col_num, el in enumerate(row):
    ...:         dok[r_num, col_num] = el 
    ...:         

In [100]: dok.toarray()
Out[100]: 
array([[1, 0, 1],
       [1, 3, 0]], dtype=int64)

如何将numpy数组dtype = object转换为稀疏矩阵？

2 个答案: