Question

我有一个numpy数组，其中有三列格式：

x1 y1 f1


x2 y2 f2


...

xn yn fn

（x，y）对可以重复。我需要另一个数组，使得每个（x，y）对出现一次，相应的第三列是（x，y）旁边出现的所有f值的总和。

例如，数组

会给出

行的顺序无关紧要。在Python中执行此操作的最快方法是什么？

谢谢！

Answer 1

这是解决问题的一种方法 -

import numpy as np

# Input array
A = np.array([[1,2,4.0],
             [1,1,5.0],
             [1,2,3.0],
             [0,1,9.0]])

# Extract xy columns            
xy = A[:,0:2]

# Perform lex sort and get the sorted indices and xy pairs
sorted_idx = np.lexsort(xy.T)
sorted_xy =  xy[sorted_idx,:]

# Differentiation along rows for sorted array
df1 = np.diff(sorted_xy,axis=0)
df2 = np.append([True],np.any(df1!=0,1),0)
# OR df2 = np.append([True],np.logical_or(df1[:,0]!=0,df1[:,1]!=0),0)
# OR df2 = np.append([True],np.dot(df1!=0,[True,True]),0)

# Get unique sorted labels
sorted_labels = df2.cumsum(0)-1

# Get labels
labels = np.zeros_like(sorted_idx)
labels[sorted_idx] = sorted_labels

# Get unique indices
unq_idx  = sorted_idx[df2]

# Get counts and unique rows and setup output array
counts = np.bincount(labels, weights=A[:,2])
unq_rows = xy[unq_idx,:]
out = np.append(unq_rows,counts.ravel()[:,None],1)

输入＆amp;输出 -

In [169]: A
Out[169]: 
array([[ 1.,  2.,  4.],
       [ 1.,  1.,  5.],
       [ 1.,  2.,  3.],
       [ 0.,  1.,  9.]])

In [170]: out
Out[170]: 
array([[ 0.,  1.,  9.],
       [ 1.,  1.,  5.],
       [ 1.,  2.,  7.]])

Answer 2

感谢@hpaulj，终于找到了最简单的解决方案。如果d包含3列数据：

ind =d[0:2].astype(int)
x = zeros(shape=(N,N))
add.at(x,list(ind),d[2])

此解决方案假设前两列中的（x，y）索引是整数且小于N.这是我需要的，应该在帖子中提到。

编辑：请注意，上述解决方案会生成一个稀疏矩阵，其矩阵内的位置（x，y）处的和值。

Answer 3

当然可以在Python中轻松完成：

arr = np.array([[1,2,4.0],
                [1,1,5.0],
                [1,2,3.0],
                [0,1,9.0]])
d={}                
for x, y, z in arr:
    d.setdefault((x,y), 0)
    d[x,y]+=z     

>>> d
{(1.0, 2.0): 7.0, (0.0, 1.0): 9.0, (1.0, 1.0): 5.0}

然后翻译回numpy：

>>> np.array([[x,y,d[(x,y)]] for x,y in d.keys()]) 
array([[ 1.,  2.,  7.],
       [ 0.,  1.,  9.],
       [ 1.,  1.,  5.]])

Answer 4

如果你有scipy，稀疏模块会进行这种添加 - 对于前2列是整数的数组 - 即。索引。

from scipy import sparse
M = sparse.csr_matrix((d[:,0], (d[:,1],d[:,2])))
M = M.tocoo() # there may be a short cut to this csr coo round trip
x = np.column_stack([M.row, M.col, M.data]) # needs testing

为了便于构造某些类型的线性代数矩阵，csr稀疏数组格式对具有重复索引的值求和。它在编译的代码中实现，所以应该相当快。但是将数据放入M并将其取回可能会减慢速度。

（ps。我没有测试过这个脚本，因为我在没有scipy的机器上写这个。）

NumPy数组总和减少

4 个答案: