Question

是否有一个内置方法可以帮助我有效地实现以下目标：给定一个数组，我需要一个数组列表，每个数组都有索引到数组的不同唯一值？

如果f是所需的功能，

b = f(a)

和

u, idxs = unique(a)

然后

b[i] == where(idxs==i)[0]

我知道pandas.Series.groupby()可以做到这一点，但是当有超过10 ^ 5个唯一整数时，创建一个dict可能效率不高。

Answer 1

如果你有numpy＆gt; = 1.9，你可以这样做：

>>> a = np.random.randint(5, size=10)
>>> a
array([0, 2, 4, 4, 2, 4, 4, 3, 2, 1])
>>> unq, unq_inv, unq_cnt = np.unique(a, return_inverse=True, return_counts=True)
>>> np.split(np.argsort(unq_inv), np.cumsum(unq_cnt[:-1]))
[array([0]), array([9]), array([1, 4, 8]), array([7]), array([2, 3, 5, 6])]
>>> unq
array([0, 1, 2, 3, 4])

在早期版本中，您可以获得额外的计数：

>>> unq_cnt = np.bincount(unq_inv)

此外，如果您想确保对每个值的索引进行排序，我认为您需要使用稳定的排序，例如np.argsort(unq_inv, kind='mergesort')

考虑到你似乎追求的是什么，我认为最大限度地减少对昂贵功能的要求，我认为你不需要做你要求的事情。假设你的功能是平方的，你可以这样做：

>>> unq, unq_inv = np.unique(a, return_inverse=True)
>>> f_unq = unq**2
>>> f_a = f_unq[unq_inv]
>>> a
array([0, 2, 4, 4, 2, 4, 4, 3, 2, 1])
>>> f_a
array([ 0,  4, 16, 16,  4, 16, 16,  9,  4,  1])

Answer 2

def foo(a):
  I=np.arange(a.shape[0])
  d={}
  while a.shape[0]:
    x = a[0]
    ii = a==x
    d[x] = I[ii]
    a = a[~ii]
    I = I[~ii]
  return d

In [767]: a
Out[767]: array([4, 4, 3, 0, 0, 2, 1, 1, 0, 3])

In [768]: foo(a)
Out[768]: 
{0: array([3, 4, 8]),
 1: array([6, 7]),
 2: array([5]),
 3: array([2, 9]),
 4: array([0, 1])}

这是你想要的字典吗？

对于小a，这很好用。

等效字典构建功能是：

def foo1(a):
    unq = np.unique(a)
    return {i:np.where(a==i)[0] for i in unq}

副手我没看到unq_inv如何帮助建立字典。

foo比foo1慢约30％。我希望通过每次计算一个值来减少搜索到的数组，我可能会获得一些速度。但看起来额外的簿记会缩短时间。并且where时间可能对a的长度不敏感。

a2=np.random.randint(5000,size=100000)运行时间大约为2-3秒。

但是np.random.randint(50000,size=1000000)花费的时间太长了（对于任何一个版本）。

在进一步的实验中，使用collections.defaultdict的'哑'方法要快得多（20x）：

def food(a):
    d = defaultdict(list)
    for i,j in enumerate(a):
        d[j].append(i)
    return d

'太大'（1000000）阵列仅需1.1秒;

Answer 3

也许可以这样做：

s = argsort(a)
d = diff(a[s])
starts = where(d)[0]
f = [s[starts[i:i+1]] for i in xrange(len(a))]

（未检查代码）

如何有效地获取唯一值的索引列表？

3 个答案: