处理NumPy分配中的重复索引

时间:2013-04-12 14:21:46

标签: python numpy

我在2D数组中设置多个元素的值,但是我的数据有时包含给定索引的多个值。

似乎总是分配“以后”值(参见下面的示例),但这种行为是否得到保证,或者我有可能获得不一致的结果?我怎么知道我可以在矢量化作业中以“我想要的方式”解释“以后”?

即。在我的第一个示例中,a肯定会始终包含4,而在第二个示例中,它是否会打印values[0]

很简单的例子:

import numpy as np
indices = np.zeros(5,dtype=np.int)
a[indices] = np.arange(5)
a # array([4])

另一个例子

import numpy as np

grid = np.zeros((1000, 800))

# generate indices and values
xs = np.random.randint(0, grid.shape[0], 100)
ys = np.random.randint(0, grid.shape[1], 100)
values = np.random.rand(100)

# make sure we have a duplicate index
print values[0], values[5]
xs[0] = xs[5]
ys[0] = ys[5]

grid[xs, ys] = values

print "output value is", grid[xs[0], ys[0]]
# always prints value of values[5]

4 个答案:

答案 0 :(得分:14)

在NumPy 1.9及更高版本中,这通常不会很明确。

当前实现使用单独的迭代器同时迭代所有(广播的)花哨索引(和赋值数组),并且这些迭代器都使用C顺序。换句话说,目前,是的,你可以。因为您可能想要更准确地了解它。如果您比较处理这些事情的NumPy中的mapping.c,您会看到它使用PyArray_ITER_NEXTdocumented为C顺序。

对于未来,我会以不同的方式描绘图片。我认为使用较新的迭代器将所有索引+赋值数组一起迭代会很好。如果这样做,那么订单可以保持打开,以便迭代器决定最快的方式。如果你对迭代器保持开放状态,很难说会发生什么,但是你不能确定你的例子是否有效(可能是1-d情况你仍然可以,但......)。

所以,据我所知它目前有效,但它没有记录(据我所知),所以如果你真的认为应该确保这一点,你需要游说它并最好写一些测试来制作确定它可以得到保证。因为至少我很想说:如果事情变得更快,没有理由确保C顺序,但当然也许有一个很好的理由隐藏在某个地方......

这里真正的问题是:你为什么要这样呢? ;)

答案 1 :(得分:7)

我知道这已得到圆满解答,但我想提一下,Tentative Numpy Tutorial下的Indexing with Arrays of Indices记录为“最后一个值”(可能是非正式的) }:

  

但是,当索引列表包含重复时,分配会多次完成,留下最后一个值:

>>> a = arange(5)
>>> a[[0,0,2]]=[1,2,3]  
>>> a
array([2, 1, 3, 3, 4])  
     

这是合理的,但请注意是否要使用Python的+ =构造,因为它可能无法达到您的预期:

>>> a = arange(5) 
>>> a[[0,0,2]]+=1  
>>> a
array([1, 1, 3, 3, 4])  
     

即使0在索引列表中出现两次,第0个元素也只增加一次。这是因为Python要求a+=1等同于a=a+1

答案 2 :(得分:5)

我没有直接回答你的问题,我只想指出即使你可以依赖这种行为保持一致,你最好不要。

考虑:

a = np.zeros(4)
x = np.arange(4)
indices = np.zeros(4,dtype=np.int)
a[indices] += x

此时,假设a.sum()a之前的总和+ x.sum()是否合理?

assert a.sum() == x.sum()
--> AssertionError 

a
= array([ 3.,  0.,  0.,  0.])

在你的情况下,当使用重复索引分配给一个数组时,结果是直观的:对同一索引的赋值会多次发生,因此只有最后一个赋值“粘住”(它会覆盖以前的赋值)。

但在这个例子中并非如此。它不再直观。如果是这样,就地添加会多次发生,因为添加本质上是累积的。

所以换句话说,你冒着陷入这个陷阱的危险:

  • 您开始使用重复索引
  • 你看到一切顺利,行为完全符合你的期望
  • 你不再关注你的操作涉及重复索引的关键事实。毕竟,它没有区别,是吗?
  • 您开始在不同的上下文中使用相同的索引,例如如上所述
  • 深感遗憾:)

所以,引用@seberg:

  

这里真正的问题是:你为什么要这样呢? ;)

答案 3 :(得分:2)

我找到了一个用numpy做这个操作的方法 这显然不是最优的,但它比循环更快(使用python for loop)

使用: numpy.bincount

size = 5
a = np.arange(size)
index = [0,0,2]
values = [1,2,3]
a[index] += values
a
[2 1 5 3 4]
女巫不正确 但是:

size = 5
a = np.arange(size)
index = [0,0,2]
values = [1,2,3]
result = np.bincount(index, values, size)
a += result
a
[3 1 5 3 4]

这很好!