Question

我有两个数组：

index  = [2,1,0,0,1,1,1,2]
values = [1,2,3,4,5,4,3,2]

我想制作：

[sum(v for i,v in zip(index, values) if i == ui) for i in sorted(set(index))]

以最有效的方式。

我的值是通过autograd计算的
由于以上几点，在大熊猫中进行分组不是很有效
我必须在同一index上使用不同的值进行数百次
len(values)〜10 ** 7
len(set(index))〜10 ** 6
Counter(index).most_common(1)[0][1]〜1000

我认为最好的纯粹的numpy解决方案。

我试图预先计算index的简化版本，然后执行以下操作：

[values[l].sum() for l in reduced_index]

但是效率不够。

这是一个最小的代码示例：

import numpy as np
import autograd.numpy as anp
from autograd import grad
import pandas as pd

EASY = True

if EASY:
    index = np.random.randint(10, size=10**3)
    values = anp.random.rand(10**3) * 2 - 1
else:
    index = np.random.randint(1000, size=10**7)
    values = anp.random.rand(10**7) * 2 - 1


# doesn't work
def f1(values):
    return anp.exp(anp.bincount(index, weights=values)).sum()


index_unique = sorted(set(index))
index_map = {j: i for i, j in enumerate(index_unique)}
index_mapped = [index_map[i] for i in index]
index_lists = [[] for _ in range(len(index_unique))]
for i, j in enumerate(index_mapped):
    index_lists[j].append(i)


def f2(values):
    s = anp.array([values[l].sum() for l in index_lists])
    return anp.exp(s).sum()


ans = grad(f2)(values)

Answer 1

如果您的 index 是非负整数，则可以将values与np.bincount用作权重：

np.bincount(index, weights=values)
# array([ 7., 14.,  3.])

这给出了从0到max(index)的每个位置的总和。

减少numpy数组和的最有效方法（使用autograd）

1 个答案: