如何在numpy结构化数组中返回多个列的视图

时间:2013-03-03 04:13:14

标签: python arrays numpy

我可以通过索引字段名称列表,在fields结构化数组中一次看到多个列(numpy),例如

import numpy as np

a = np.array([(1.5, 2.5, (1.0,2.0)), (3.,4.,(4.,5.)), (1.,3.,(2.,6.))],
        dtype=[('x',float), ('y',float), ('value',float,(2,2))])

print a[['x','y']]
#[(1.5, 2.5) (3.0, 4.0) (1.0, 3.0)]

print a[['x','y']].dtype
#[('x', '<f4') ('y', '<f4')])

但问题是它似乎是副本而不是视图:

b = a[['x','y']]
b[0] = (9.,9.)

print b
#[(9.0, 9.0) (3.0, 4.0) (1.0, 3.0)]

print a[['x','y']]
#[(1.5, 2.5) (3.0, 4.0) (1.0, 3.0)]

如果我只选择一列,那就是一个视图:

c = x['y']
c[0] = 99.

print c
#[ 99.  4.   3. ]

print a['y']
#[ 99.  4.   3. ]

有什么方法可以同时获取多个列的查看行为吗?

我有两个解决方法,一个是循环遍历列,另一个是创建分层dtype,以便一列实际返回一个带有两个(或更多)字段的结构化数组想。不幸的是,zip也会返回副本,所以我不能这样做:

x = a['x']; y = a['y']
z = zip(x,y)
z[0] = (9.,9.)

5 个答案:

答案 0 :(得分:31)

您可以创建一个仅包含所需字段的dtype对象,并使用numpy.ndarray()创建原始数组的视图:

import numpy as np
strc = np.zeros(3, dtype=[('x', int), ('y', float), ('z', int), ('t', "i8")])

def fields_view(arr, fields):
    dtype2 = np.dtype({name:arr.dtype.fields[name] for name in fields})
    return np.ndarray(arr.shape, dtype2, arr, 0, arr.strides)

v1 = fields_view(strc, ["x", "z"])
v1[0] = 10, 100

v2 = fields_view(strc, ["y", "z"])
v2[1:] = [(3.14, 7)]

v3 = fields_view(strc, ["x", "t"])

v3[1:] = [(1000, 2**16)]

print(strc)

这是输出:

[(10, 0.0, 100, 0L) (1000, 3.14, 7, 65536L) (1000, 3.14, 7, 65536L)]

答案 1 :(得分:8)

在@ HYRY的答案的基础上,你也可以使用ndarray的方法getfield

def fields_view(array, fields):
    return array.getfield(numpy.dtype(
        {name: array.dtype.fields[name] for name in fields}
    ))

答案 2 :(得分:4)

我认为没有一种简单的方法可以达到你想要的效果。通常,您不能将任意视图放入数组中。请尝试以下方法:

>>> a
array([(1.5, 2.5, [[1.0, 2.0], [1.0, 2.0]]),
       (3.0, 4.0, [[4.0, 5.0], [4.0, 5.0]]),
       (1.0, 3.0, [[2.0, 6.0], [2.0, 6.0]])], 
      dtype=[('x', '<f8'), ('y', '<f8'), ('value', '<f8', (2, 2))])
>>> a.view(float)
array([ 1.5,  2.5,  1. ,  2. ,  1. ,  2. ,  3. ,  4. ,  4. ,  5. ,  4. ,
        5. ,  1. ,  3. ,  2. ,  6. ,  2. ,  6. ])

记录数组的float视图显示实际数据如何存储在内存中。对这些数据的观察必须表现为形状,步幅和偏移到上述数据中的组合。因此,如果您想要仅提供'x''y'的视图,则可以执行以下操作:

>>> from numpy.lib.stride_tricks import as_strided
>>> b = as_strided(a.view(float), shape=a.shape + (2,),
                   strides=a.strides + a.view(float).strides)
>>> b
array([[ 1.5,  2.5],
       [ 3. ,  4. ],
       [ 1. ,  3. ]])

as_strided与更容易理解的相同:

>>> bb = a.view(float).reshape(a.shape + (-1,))[:, :2]
>>> bb
array([[ 1.5,  2.5],
       [ 3. ,  4. ],
       [ 1. ,  3. ]])

这是a的视图:

>>> b[0,0] =0
>>> a
array([(0.0, 2.5, [[0.0, 2.0], [1.0, 2.0]]),
       (3.0, 4.0, [[4.0, 5.0], [4.0, 5.0]]),
       (1.0, 3.0, [[2.0, 6.0], [2.0, 6.0]])], 
      dtype=[('x', '<f8'), ('y', '<f8'), ('value', '<f8', (2, 2))])
>>> bb[2, 1] = 0
>>> a
array([(0.0, 2.5, [[0.0, 2.0], [1.0, 2.0]]),
       (3.0, 4.0, [[4.0, 5.0], [4.0, 5.0]]),
       (1.0, 0.0, [[2.0, 6.0], [2.0, 6.0]])], 
      dtype=[('x', '<f8'), ('y', '<f8'), ('value', '<f8', (2, 2))])

如果其中任何一个都可以转换为记录数组,那会很好,但是numpy拒绝这样做,这个原因对我来说并不是那么清楚:

>>> b.view([('x',float), ('y',float)])
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: new type not compatible with array.

当然,'x''y'的作用(某种程度)不起作用,例如'x''value',所以一般来说答案是:它无法完成。

答案 3 :(得分:2)

从Numpy版本1.13开始,您建议的代码将返回视图。请参阅此页面上的'NumPy 1.12.0发行说明 - &gt;未来变更 - &gt;结构化数组的多字段操作':

https://docs.scipy.org/doc/numpy-dev/release.html

答案 4 :(得分:0)

在我的情况下,“几列”恰好等于相同数据类型的两列,在这里我可以使用以下函数进行查看:

def make_view(arr, fields, dtype):
    offsets = [arr.dtype.fields[f][1] for f in fields]
    offset = min(offsets)
    stride = max(offsets)
    return np.ndarray((len(arr), 2), buffer=arr, offset=offset, strides=(arr.strides[0], stride-offset), dtype=dtype)

我认为这归结为同一件事,@ Jamie说,通常无法完成,但是对于相同dtype的两列则可以。此函数的结果不是字典,而是老式的numpy数组。