关于np.tile和numpy广播的困惑

时间:2018-01-23 18:13:16

标签: python arrays numpy broadcasting

假设我有一个形状为numpy的2D A数组(m, n)。我想创建一个形状为B的3D数组(m, n, k),以便B[:, :, l]A的副本,适用于任何切片l。我可以想到两种方法:

np.tile(A, (m, n, k))

np.repeat(A[:, :, np.newaxis], k, axis=-1)

第一种方式似乎更简单,但我提到了np.tile的文档:

Note: Although tile may be used for broadcasting, it is strongly
recommended to use numpy's broadcasting operations and functions.

为什么会这样,这也是np.repeat的问题?

我的另一个担心是,如果m == n == k,那么np.tile()会产生关于增加哪个轴的混淆?

总之,我有两个问题:

  1. 为什么np.tile不是首选,m == n == k会在某些情况下导致意外行为?
  2. 上述两种方式中的哪一种在时间和记忆方面更有效?是否有比两种方法更清洁或更有效的方式?

2 个答案:

答案 0 :(得分:2)

您说要扩展形状 - (m, n)数组和形状 - (n, k)数组,以形成(m, n, k)并将它们组合在一起。在这种情况下,您根本不需要物理扩展阵列;对齐轴和广播将正常工作:

A = something of shape (m, n)
B = something of shape (n, k)

C = A[..., np.newaxis] + B

这不需要复制AB中的数据,并且运行速度要比涉及物理副本的任何内容快得多。

答案 1 :(得分:1)

In [100]: A = np.arange(12).reshape(3,4)

使用repeat在最后添加新维度:

In [101]: B = np.repeat(A[:,:,np.newaxis], 2, axis=-1)
In [102]: B.shape
Out[102]: (3, 4, 2)

使用平铺和重复在开头添加新维度:

In [104]: np.tile(A, (2,1,1)).shape
Out[104]: (2, 3, 4)
In [105]: np.repeat(A[None,:,:], 2, axis=0).shape
Out[105]: (2, 3, 4)

如果我们使用tile在最后一个维度上指定2个重复,则它会给出不同的形状

In [106]: np.tile(A, (1,1,2)).shape
Out[106]: (1, 3, 8)

注意tile关于使用重复元组前置维度大于形状的内容。

但是如果您在评论中描述的计算中使用了展开的数组,则无需进行完整的重复复制。利用broadcasting可以使用正确形状的临时视图。

In [107]: A1=np.arange(12).reshape(3,4)
In [108]: A2=np.arange(8).reshape(4,2)
In [109]: A3=A1[:,:,None] + A2[None,:,:]
In [110]: A3.shape
Out[110]: (3, 4, 2)
In [111]: A3
Out[111]: 
array([[[ 0,  1],
        [ 3,  4],
        [ 6,  7],
        [ 9, 10]],

       [[ 4,  5],
        [ 7,  8],
        [10, 11],
        [13, 14]],

       [[ 8,  9],
        [11, 12],
        [14, 15],
        [17, 18]]])

使用Nonenp.newaxis),数组视图为(3,4,1)和(1,4,2)形,它们一起广播为(3,4,2) 。我可以在第二种情况下离开None,因为广播会自动添加。但是需要跟踪None

In [112]: (A1[:,:,None] + A2).shape
Out[112]: (3, 4, 2)

添加1d数组(最后一个维度):

In [113]: (A1[:,:,None] + np.array([1,2])[None,None,:]).shape
Out[113]: (3, 4, 2)
In [114]: (A1[:,:,None] + np.array([1,2])).shape
Out[114]: (3, 4, 2)

两个基本广播步骤:

  • 根据需要添加尺寸1尺寸(自动[None,....]
  • 将所有尺寸1尺寸扩展为共享尺寸

这组计算说明了这一点:

In [117]: np.ones(2) + np.ones(3)
ValueError: operands could not be broadcast together with shapes (2,) (3,) 

In [118]: np.ones(2) + np.ones((1,3))
ValueError: operands could not be broadcast together with shapes (2,) (1,3) 

In [119]: np.ones(2) + np.ones((3,1))
Out[119]: 
array([[2., 2.],
       [2., 2.],
       [2., 2.]])
In [120]: np.ones((1,2)) + np.ones((3,1))
Out[120]: 
array([[2., 2.],
       [2., 2.],
       [2., 2.]])

缺少中间维度

In [126]: np.repeat(A[:,None,:],2,axis=1)+np.ones(4)
Out[126]: 
array([[[ 1.,  2.,  3.,  4.],
        [ 1.,  2.,  3.,  4.]],

       [[ 5.,  6.,  7.,  8.],
        [ 5.,  6.,  7.,  8.]],

       [[ 9., 10., 11., 12.],
        [ 9., 10., 11., 12.]]])

有一种更“先进”的选择(但不一定更快):

In [127]: np.broadcast_to(A[:,None,:],(3,2,4))+np.ones(4)