为什么NumPy为x [[slice(None),1,2]]

时间:2018-06-02 23:36:53

标签: python numpy indexing numpy-ndarray numpy-slicing

advanced indexing的NumPy文档中,提到了

  

同时认识到x[[1, 2, 3]]将触发高级索引,而x[[1, 2, slice(None)]]将触发基本切片。

矩阵按顺序存储在存储器中。我理解,查看x[[1, 2, slice(None)]]是有意义的,因为元素按顺序存储到内存中。但是为什么Numpy会返回x[[1, slice(None), 2]]x[[slice(None), 1, 2]]的视图。例如,假设

x = [[[ 0,  1,  2],
      [ 3,  4,  5],
      [ 6,  7,  8]],
     [[ 9, 10, 11],
      [12, 13, 14],
      [15, 16, 17]],
     [[18, 19, 20],
      [21, 22, 23],
      [24, 25, 26]]]

x[[1, slice(None), 2]]会返回[11, 14, 17]的视图,该视图不会按顺序存储在内存中以及返回x[[slice(None), 1, 2]]的{​​{1}}。

我想知道

  1. 为什么NumPy甚至会在这两种情况下返回视图

  2. NumPy如何处理内存寻址以创建这些视图

2 个答案:

答案 0 :(得分:2)

来自SciPy cookbook

  

创建切片视图的经验法则是,可以使用原始数组中的偏移,步幅和计数来查找所查看的元素。

当你有一个像x[[1, slice(None), 2]]这样的索引时,你得到一个视图,因为切片整个轴允许一定的偏移,步幅和计数来表示原始数组的切片。

例如,对于x = np.arange(27).reshape(3, 3, 3).copy(),我们有:

In [79]: x_view = x[1, :, 2]  # or equivalently x[[1, slice(None), 2]]

In [80]: x_view
Out[80]: array([11, 14, 17])

In [81]: x_view.base
Out[81]: 
array([[[ 0,  1,  2],
        [ 3,  4,  5],
        [ 6,  7,  8]],

       [[ 9, 10, 11],
        [12, 13, 14],
        [15, 16, 17]],

       [[18, 19, 20],
        [21, 22, 23],
        [24, 25, 26]]])

然后我们可以使用numpy.byte_bounds(不是公共API的一部分,YMMV)来说明偏移量,以便从原始数组中获取切片。

In [82]: np.byte_bounds(x_view)[0] - np.byte_bounds(x_view.base)[0]
Out[82]: 88

这是有道理的,因为在切片中的第一个值之前有11个8字节整数,11。NumPy使用原始数组的步幅,使用可以see here的公式计算此偏移量。

In [93]: (x.strides * np.array([1, 0, 2])).sum()
Out[93]: 88

我们切片中的步幅简单地变成沿着我们正在切割的轴(或轴)的x的步幅。即x.strides[1] == x_view.strides[0]。现在,偏移量,新步幅和计数是NumPy从原始数组中查看切片的足够信息。

In [94]: x_view.strides
Out[94]: (24,)

In [95]: x_view.size
Out[95]: 3

最后,你用x[[0, 1, 2]]触发花式索引的原因是因为在没有完整的轴切片的情况下,通常不可能形成一些新的偏移,字节顺序,步幅和计数,以便我们可以查看具有相同基础数据的切片。

答案 1 :(得分:1)

我喜欢使用__array_interface__来检查数组的属性:

使用x

In [51]: x.__array_interface__
Out[51]: 
{'data': (43241792, False),
 'strides': None,
 'descr': [('', '<i8')],
 'typestr': '<i8',
 'shape': (3, 3, 3),
 'version': 3}
In [52]: x.strides
Out[52]: (72, 24, 8)

这是一个(3,3,3)阵列。可以通过一次步进8个字节来扫描最后一个轴,大小为x.itemsize。 3 * 8步行,3 * 3 * 8步穿过平面(第1个暗淡)。

In [53]: y = x[:,1,2]
In [54]: y.shape
Out[54]: (3,)
In [55]: y.strides
Out[55]: (72,)
In [56]: y.__array_interface__['data']
Out[56]: (43241832, False)

y元素可以通过平面步进来解决,3 * 3 * 8。 43241832是起始点,40字节进入数据缓冲区,5 * 8

In [59]: y
Out[59]: array([ 5, 14, 23])

所以它从第5个元素开始,一次向前移动一个平面(9个元素),总共3个元素。

y.__array_interface__['data']属于x'数据范围'的事实告诉我y是一个视图。这是一个视图,因为这个缓冲起点,步幅和形状的组合让我们可以访问y的所有值。

使用高级索引,通常无法(通常)使用这些简单参数访问元素,因此numpy必须复制数据。

只需更改步幅和“数据”起点即可实现反转视图:

In [60]: z = y[::-1]
In [61]: z.__array_interface__
Out[61]: 
{'data': (43241976, False),
 'strides': (-72,),
 'descr': [('', '<i8')],
 'typestr': '<i8',
 'shape': (3,),
 'version': 3}

转置也会改变步幅:

In [62]: x.T.strides
Out[62]: (8, 24, 72)