我最近看到了一种使用结构化numpy数组的现象,这是没有意义的。我希望有人能帮我理解发生了什么。我提供了一个最小的工作示例来说明问题。问题是:
使用布尔掩码索引结构化numpy数组时,可以正常工作:
arr['fieldName'][boolMask] += val
但以下情况并非如此:
arr[boolMask]['fieldName'] += val
这是一个最小的工作示例:
import numpy as np
myDtype = np.dtype([('t','<f8'),('p','<f8',(3,)),('v','<f4',(3,))])
nominalArray = np.zeros((10,),dtype=myDtype)
nominalArray['t'] = np.arange(10.)
# In real life, the other fields would also be populated
print "original times: {0}".format(nominalArray['t'])
# Add 10 to all times greater than 5
timeGreaterThan5 = nominalArray['t'] > 5
nominalArray['t'][timeGreaterThan5] += 10.
print "times after first operation: {0}".format(nominalArray['t'])
# Return those times to their original values
nominalArray[timeGreaterThan5]['t'] -= 10.
print "times after second operation: {0}".format(nominalArray['t'])
运行它会产生以下输出:
original times: [ 0. 1. 2. 3. 4. 5. 6. 7. 8. 9.]
times after first operation: [ 0. 1. 2. 3. 4. 5. 16. 17. 18. 19.]
times after second operation: [ 0. 1. 2. 3. 4. 5. 16. 17. 18. 19.]
我们在这里清楚地看到第二次手术无效。如果有人能够解释为什么会发生这种情况,我们将不胜感激。
答案 0 :(得分:3)
这确实是复制视图的问题。但我会详细介绍。
视图与副本之间的关键区别是 - 索引模式是否规则。常规数据可以用数组shape
,strides
和dtype
来表示。通常,布尔索引(以及相关的索引列表)不能用这些术语表示,因此numpy
必须返回副本。
我喜欢看arr.__array_interface__
属性。它显示了形状,步幅和指向数据缓冲区的指针。如果指针与原始指针相同,则为view
。
使用arr[idx] += 1
,索引实际上是一个setitem
方法,选择要添加的数据缓冲区项目。视图和副本之间的区别并不适用。
但是对于arr[idx1][idx2] += 1
,第一个索引是getitem
方法。为此,视图和副本之间的区别很重要。第二个索引修改第一个生成的数组。如果是视图,则修改会影响原始数据;如果是副本,没有永久性的事情发生。副本可能会被修改,但它会在垃圾收集库中消失。
使用2d数组,您可以组合这两个索引步骤arr[idx1, idx2] += 1
;事实上,这是首选的语法。
对于结构化数组,字段索引类似于列索引,但不完全相同。首先,它不能与元素索引结合使用。
一个简单的结构化数组:
In [234]: arr=np.ones((5,),dtype='i,f,i,f')
In [235]: arr.__array_interface__
{'strides': None,
'shape': (5,),
'data': (152524816, False),
'descr': [('f0', '<i4'), ('f1', '<f4'), ('f2', '<i4'), ('f3', '<f4')],
'typestr': '|V16',
'version': 3}
选择一个字段会产生一个视图 - 相同的数据指针
In [236]: arr['f0'].__array_interface__['data']
Out[236]: (152524816, False)
用布尔值选择元素会产生一个副本(差异指针)
In [242]: idx = np.array([1,0,0,1,1],bool)
In [243]: arr[idx].__array_interface__['data']
Out[243]: (152629520, False)
因此,arr['f0'][idx] += 1
会修改f0
字段中的所选项目。
arr[idx]['f0'] += 1
修改副本的f0
字段,对arr
无效。
arr[idx]['f0'] + 1
和arr['f0'][idx] + 1
显示相同的内容,但他们并未尝试执行任何就地更改。
您可以从结构化数组arr[['f0','f2']]
中选择多个字段。但这是一个副本。 (我得到一个警告,建议我制作一份明确的副本)。