为什么对布尔索引结构化数组的赋值依赖于索引排序?

时间:2015-07-03 17:03:39

标签: python numpy structured-array

我最近看到了一种使用结构化numpy数组的现象,这是没有意义的。我希望有人能帮我理解发生了什么。我提供了一个最小的工作示例来说明问题。问题是:

使用布尔掩码索引结构化numpy数组时,可以正常工作:

arr['fieldName'][boolMask] += val

但以下情况并非如此:

arr[boolMask]['fieldName'] += val

这是一个最小的工作示例:

import numpy as np

myDtype = np.dtype([('t','<f8'),('p','<f8',(3,)),('v','<f4',(3,))])

nominalArray = np.zeros((10,),dtype=myDtype)
nominalArray['t'] = np.arange(10.)
# In real life, the other fields would also be populated
print "original times: {0}".format(nominalArray['t'])

# Add 10 to all times greater than 5
timeGreaterThan5 = nominalArray['t'] > 5
nominalArray['t'][timeGreaterThan5] += 10.
print "times after first operation: {0}".format(nominalArray['t'])

# Return those times to their original values
nominalArray[timeGreaterThan5]['t'] -= 10.
print "times after second operation: {0}".format(nominalArray['t'])

运行它会产生以下输出:

original times: [ 0.  1.  2.  3.  4.  5.  6.  7.  8.  9.]
times after first operation: [  0.   1.   2.   3.   4.   5.  16.  17.  18.  19.]
times after second operation: [  0.   1.   2.   3.   4.   5.  16.  17.  18.  19.]

我们在这里清楚地看到第二次手术无效。如果有人能够解释为什么会发生这种情况,我们将不胜感激。

1 个答案:

答案 0 :(得分:3)

这确实是复制视图的问题。但我会详细介绍。

视图与副本之间的关键区别是 - 索引模式是否规则。常规数据可以用数组shapestridesdtype来表示。通常,布尔索引(以及相关的索引列表)不能用这些术语表示,因此numpy必须返回副本。

我喜欢看arr.__array_interface__属性。它显示了形状,步幅和指向数据缓冲区的指针。如果指针与原始指针相同,则为view

使用arr[idx] += 1,索引实际上是一个setitem方法,选择要添加的数据缓冲区项目。视图和副本之间的区别并不适用。

但是对于arr[idx1][idx2] += 1,第一个索引是getitem方法。为此,视图和副本之间的区别很重要。第二个索引修改第一个生成的数组。如果是视图,则修改会影响原始数据;如果是副本,没有永久性的事情发生。副本可能会被修改,但它会在垃圾收集库中消失。

使用2d数组,您可以组合这两个索引步骤arr[idx1, idx2] += 1;事实上,这是首选的语法。

对于结构化数组,字段索引类似于列索引,但不完全相同。首先,它不能与元素索引结合使用。

一个简单的结构化数组:

In [234]: arr=np.ones((5,),dtype='i,f,i,f')
In [235]: arr.__array_interface__
{'strides': None,
 'shape': (5,),
 'data': (152524816, False),
 'descr': [('f0', '<i4'), ('f1', '<f4'), ('f2', '<i4'), ('f3', '<f4')],
 'typestr': '|V16',
 'version': 3}

选择一个字段会产生一个视图 - 相同的数据指针

In [236]: arr['f0'].__array_interface__['data']
Out[236]: (152524816, False)

用布尔值选择元素会产生一个副本(差异指针)

In [242]: idx = np.array([1,0,0,1,1],bool)
In [243]: arr[idx].__array_interface__['data']
Out[243]: (152629520, False)

因此,arr['f0'][idx] += 1会修改f0字段中的所选项目。

arr[idx]['f0'] += 1修改副本的f0字段,对arr无效。

arr[idx]['f0'] + 1arr['f0'][idx] + 1显示相同的内容,但他们并未尝试执行任何就地更改。

您可以从结构化数组arr[['f0','f2']]中选择多个字段。但这是一个副本。 (我得到一个警告,建议我制作一份明确的副本)。