Question

在关于reshape（）函数的numpy manual中，它说

>>> a = np.zeros((10, 2))
# A transpose make the array non-contiguous
>>> b = a.T
# Taking a view makes it possible to modify the shape without modifying the
# initial object.
>>> c = b.view()
>>> c.shape = (20)
AttributeError: incompatible shape for a non-contiguous array

我的问题是：

什么是连续和不连续的数组？它类似于C中的连续内存块，如What is a contiguous memory block?
这两者之间有任何性能差异吗？我们应该何时使用其中一种？
为什么transpose使数组不连续？
为什么c.shape = (20)会引发错误incompatible shape for a non-contiguous array？

感谢您的回答！

Answer 1

连续数组只是一个存储在不间断内存块中的数组：要访问数组中的下一个值，我们只需移动到下一个内存地址。

考虑2D数组arr = np.arange(12).reshape(3,4)。它看起来像这样：

在计算机的内存中，arr的值存储如下：

这意味着arr是 C连续数组，因为行存储为连续的内存块。下一个内存地址保存该行的下一行值。如果我们想要向下移动一列，我们只需要跳过三个块（例如，从0跳到4意味着我们跳过1,2和3）。

使用arr.T转置数组意味着C连续性丢失，因为相邻的行条目不再位于相邻的内存地址中。但是，arr.T Fortran连续，因为列位于连续的内存块中：

在性能方面，访问彼此相邻的内存地址通常比访问更“分散”的地址更快（从RAM中获取值可能需要为CPU提取和缓存大量相邻地址）。）这意味着对连续数组的操作通常会更快。

作为C连续内存布局的结果，行方式操作通常比列方式操作更快。例如，您通常会找到

np.sum(arr, axis=1) # sum the rows

略快于：

np.sum(arr, axis=0) # sum the columns

同样，对于Fortran连续数组，对列的操作会稍微快一点。

最后，为什么我们不能通过指定一个新形状来展平Fortran连续数组呢？

>>> arr2 = arr.T
>>> arr2.shape = 12
AttributeError: incompatible shape for a non-contiguous array

为了使这成为可能，NumPy必须将arr.T的行放在一起，如下所示：

（设置shape属性直接假定为C顺序 - 即NumPy尝试按行执行操作。）

这是不可能的。对于任何轴，NumPy需要具有常量步长（要移动的字节数）才能到达数组的下一个元素。以这种方式展平arr.T将需要在内存中向前和向后跳过以检索数组的连续值。

如果我们改为编写arr2.reshape(12)，NumPy会将arr2的值复制到一个新的内存块中（因为它无法将视图返回到此形状的原始数据）。

Answer 2

也许这个包含12个不同数组值的例子会有所帮助：

In [207]: x=np.arange(12).reshape(3,4).copy()

In [208]: x.flags
Out[208]: 
  C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  OWNDATA : True
  ...
In [209]: x.T.flags
Out[209]: 
  C_CONTIGUOUS : False
  F_CONTIGUOUS : True
  OWNDATA : False
  ...

C order值按生成它们的顺序排列。转置的值不是

In [212]: x.reshape(12,)   # same as x.ravel()
Out[212]: array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11])

In [213]: x.T.reshape(12,)
Out[213]: array([ 0,  4,  8,  1,  5,  9,  2,  6, 10,  3,  7, 11])

您可以获得两者的1d视图

In [214]: x1=x.T

In [217]: x.shape=(12,)

x的形状也可以改变。

In [220]: x1.shape=(12,)
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-220-cf2b1a308253> in <module>()
----> 1 x1.shape=(12,)

AttributeError: incompatible shape for a non-contiguous array

但转置的形状无法改变。 data仍然是0,1,2,3,4...顺序，无法在1d数组中以0,4,8...的形式访问。

但x1的副本可以更改：

In [227]: x2=x1.copy()

In [228]: x2.flags
Out[228]: 
  C_CONTIGUOUS : True
  F_CONTIGUOUS : False
  OWNDATA : True
  ...
In [229]: x2.shape=(12,)

查看strides也可能有所帮助。一个步骤是它必须步骤到达下一个值的距离（以字节为单位）。对于2d数组，将有2个步幅值：

In [233]: x=np.arange(12).reshape(3,4).copy()

In [234]: x.strides
Out[234]: (16, 4)

要到达下一行，请执行步骤16个字节，下一个列只需4个。

In [235]: x1.strides
Out[235]: (4, 16)

转置只是切换步幅的顺序。下一行只有4个字节 - 即下一个数字。

In [236]: x.shape=(12,)

In [237]: x.strides
Out[237]: (4,)

更改形状也会改变步幅 - 一次只能逐步通过缓冲区4个字节。

In [238]: x2=x1.copy()

In [239]: x2.strides
Out[239]: (12, 4)

即使x2看起来像x1，它也有自己的数据缓冲区，值的顺序不同。下一列现在是4个字节，而下一行是12（3 * 4）。

In [240]: x2.shape=(12,)

In [241]: x2.strides
Out[241]: (4,)

与x一样，将形状更改为1d可将步幅减少到(4,)。

对于x1，如果数据符合0,1,2,...顺序，那么就不会有{1}}的1d步幅。

0,4,8...是另一种显示数组信息的有用方法：

__array_interface__

In [242]: x1.__array_interface__ Out[242]: {'strides': (4, 16), 'typestr': '<i4', 'shape': (4, 3), 'version': 3, 'data': (163336056, False), 'descr': [('', '<i4')]}数据缓冲区地址与x1相同，用于共享数据。 x具有不同的缓冲区地址。

您还可以尝试在x2和order='F'命令中添加copy参数。

连续和非连续数组之间有什么区别？

2 个答案: