Question

我有两个2D numpy数组（在这个例子中简化了大小和内容），大小相同。

ID矩阵：

和值矩阵：

14.8 17.0 74.3 40.3 90.2
25.2 75.9  5.6 40.0 33.7
78.9 39.3 11.3 63.6 56.7
11.4 75.7 78.4 88.7 58.6
79.6 32.3 35.3 52.5 13.3

我的目标是计算和求和来自第一个矩阵的ID分组的第二个矩阵的值：

1: (8, 336.8)
2: (9, 453.4)
5: (8, 402.4)

我可以在for循环中执行此操作，但是当矩阵的大小为数千而不是仅5x5和数千个唯一ID时，处理需要花费大量时间。

numpy是否有巧妙的方法或方法组合来执行此操作？

Answer 1

这是一种矢量化方法，可以ID和np.unique的组合获取ID-based和value求和值的计数 -

unqID,idx,IDsums = np.unique(ID,return_counts=True,return_inverse=True)

value_sums = np.bincount(idx,value.ravel())

要将最终输出作为字典，您可以使用循环理解来收集求和值，如下所示 -

{i:(IDsums[itr],value_sums[itr]) for itr,i in enumerate(unqID)}

示例运行 -

In [86]: ID
Out[86]: 
array([[1, 1, 1, 2, 2],
       [1, 1, 2, 2, 5],
       [1, 1, 2, 5, 5],
       [1, 2, 2, 5, 5],
       [2, 2, 5, 5, 5]])

In [87]: value
Out[87]: 
array([[ 14.8,  17. ,  74.3,  40.3,  90.2],
       [ 25.2,  75.9,   5.6,  40. ,  33.7],
       [ 78.9,  39.3,  11.3,  63.6,  56.7],
       [ 11.4,  75.7,  78.4,  88.7,  58.6],
       [ 79.6,  32.3,  35.3,  52.5,  13.3]])

In [88]: unqID,idx,IDsums = np.unique(ID,return_counts=True,return_inverse=True)
    ...: value_sums = np.bincount(idx,value.ravel())
    ...: 

In [89]: {i:(IDsums[itr],value_sums[itr]) for itr,i in enumerate(unqID)}
Out[89]: 
{1: (8, 336.80000000000001),
 2: (9, 453.40000000000003),
 5: (8, 402.40000000000003)}

Answer 2

这可以通过几种简单方法的组合来实现：

使用numpy.unique查找每个ID
为每个ID
将掩码（计数）中的1和掩码为1的值

这可能如下所示：

import numpy as np

ids = np.array([[1, 1, 1, 2, 2],
                [1, 1, 2, 2, 5],
                [1, 1, 2, 5, 5],
                [1, 2, 2, 5, 5],
                [2, 2, 5, 5, 5]])

values = np.array([[14.8, 17.0, 74.3, 40.3, 90.2],
                   [25.2, 75.9,  5.6, 40.0, 33.7],
                   [78.9, 39.3, 11.3, 63.6, 56.7],
                   [11.4, 75.7, 78.4, 88.7, 58.6],
                   [79.6, 32.3, 35.3, 52.5, 13.3]])


for i in np.unique(ids):  # loop through all IDs
    mask = ids == i  # find entries that match current ID
    count = np.sum(mask)  # number of matches
    total = np.sum(values[mask])  # values of matches
    print('{}: ({}, {:.1f})'.format(i, count, total))  #print result

# Output:
# 1: (8, 336.8)
# 2: (9, 453.4)
# 5: (8, 402.4)

Answer 3

numpy_indexed包（免责声明：我是它的作者）具有以优雅和矢量化的方式解决这些问题的功能：

import numpy_indexed as npi
group_by = npi.group_by(ID.flatten())
ID_unique, value_sums = group_by.sum(value.flatten())
ID_count = groupy_by.count

注意：如果要计算总和和计数以计算均值，还有group_by.mean;加上许多其他有用的功能。

在Numpy中基于其他数组从数组求和数据

3 个答案: