np.add.at用数组索引

时间:2017-08-03 02:36:58

标签: python-3.x numpy numpy-ufunc

我正在研究cs231n,我很难理解这个索引是如何工作的。鉴于此

x = [[0,4,1], [3,2,4]]
dW = np.zeros(5,6)
dout = [[[  1.19034710e-01  -4.65005990e-01   8.93743168e-01  -9.78047129e-01
            -8.88672957e-01  -4.66605091e-01]
         [ -1.38617461e-03  -2.64569728e-01  -3.83712733e-01  -2.61360826e-01
            8.07072009e-01  -5.47607277e-01]
         [ -3.97087458e-01  -4.25187949e-02   2.57931759e-01   7.49565950e-01
           1.37707667e+00   1.77392240e+00]]

       [[ -1.20692745e+00  -8.28111550e-01   6.53041092e-01  -2.31247762e+00
         -1.72370321e+00   2.44308033e+00]
        [ -1.45191870e+00  -3.49328154e-01   6.15445782e-01  -2.84190582e-01
           4.85997687e-02   4.81590106e-01]
        [ -1.14828583e+00  -9.69055406e-01  -1.00773809e+00   3.63553835e-01
          -1.28078363e+00  -2.54448436e+00]]]

他们所做的操作是

np.add.at(dW, x, dout)

x是二维数组。索引如何在这里工作?我浏览了np.ufunc.at文档,但是他们有一个简单的例子,包含1d数组和常量:

np.add.at(a, [0, 1, 2, 2], 1)

2 个答案:

答案 0 :(得分:7)

In [226]: x = [[0,4,1], [3,2,4]]
     ...: dW = np.zeros((5,6),int)

In [227]: np.add.at(dW,x,1)
In [228]: dW
Out[228]: 
array([[0, 0, 0, 1, 0, 0],
       [0, 0, 0, 0, 1, 0],
       [0, 0, 0, 0, 0, 0],
       [0, 0, 0, 0, 0, 0],
       [0, 0, 1, 0, 0, 0]])

使用此x,没有任何重复的条目,因此add.at与使用+=索引相同。我们可以用以下方式读取更改后的值:

In [229]: dW[x[0], x[1]]
Out[229]: array([1, 1, 1])

指数的工作方式相同,包括广播:

In [234]: dW[...]=0
In [235]: np.add.at(dW,[[[1],[2]],[2,4,4]],1)
In [236]: dW
Out[236]: 
array([[0, 0, 0, 0, 0, 0],
       [0, 0, 1, 0, 2, 0],
       [0, 0, 1, 0, 2, 0],
       [0, 0, 0, 0, 0, 0],
       [0, 0, 0, 0, 0, 0]])

可能的值

关于索引,值必须为broadcastable

In [112]: np.add.at(dW,[[[1],[2]],[2,4,4]],np.ones((2,3)))
...
In [114]: np.add.at(dW,[[[1],[2]],[2,4,4]],np.ones((2,3)).ravel())
...
ValueError: array is not broadcastable to correct shape
In [115]: np.add.at(dW,[[[1],[2]],[2,4,4]],[1,2,3])

In [117]: np.add.at(dW,[[[1],[2]],[2,4,4]],[[1],[2]])

In [118]: dW
Out[118]: 
array([[ 0,  0,  0,  0,  0,  0],
       [ 0,  0,  3,  0,  9,  0],
       [ 0,  0,  4,  0, 11,  0],
       [ 0,  0,  0,  0,  0,  0],
       [ 0,  0,  0,  0,  0,  0]])

在这种情况下,索引定义(2,3)形状,因此(2,3),(3,),(2,1)和标量值起作用。 (6,)没有。

在这种情况下,add.at将(2,3)数组映射到dW的(2,2)子阵列。

答案 1 :(得分:0)

最近我也很难理解这行代码。希望我得到的东西可以帮助你,如果我错了,请纠正我。

这行代码中的三个数组如下:

x , whose shape is (N,T)
dW,  ---(V,D)
dout ---(N,T,D)

然后我们来看看我们想要弄清楚会发生什么的行代码

np.add.at(dW, x, dout)

如果你不想知道思考程序。上面的代码相当于:

for row in range(N):
   for col in range(T):
      dW[ x[row,col]  , :] += dout[row,col, :]

这是思考程序:

参阅此文档

https://docs.scipy.org/doc/numpy-1.13.0/reference/generated/numpy.ufunc.at.html

我们知道x是索引数组。所以关键是要了解dW [x]。 这是使用另一个数组(x)索引数组(dW)的概念。如果您不熟悉这个概念,可以查看此链接

https://docs.scipy.org/doc/numpy-1.13.0/user/basics.indexing.html

  

一般来说,使用索引数组时返回的是与索引数组具有相同形状的数组,但索引的数组的类型和值。

dW [x]将给出一个阵列,其形状为(N,T,D),(N,T)部分来自x,(D)来自dW(V,D)。注意,x的每个元素都在[0,v)的范围内。

让我们以一些数字作为具体例子

x:    np.array([[0,0],[0,0]]) ---- (2,2) N=2, T=2
dW:   np.array([[0,0],[2,2]]) ---- (2,2) V=2, D=2
dout: np.arange(1,9).reshape(2,2,2)  ----(2,2,2) N=2, T=2, D=2

dW[x] should be [ [[0 0] #this comes from the dW's firt row
                  [0 0]]

                  [[0 0]
                   [0 0]] ]

dW [x]添加dout意味着添加elemnet项目(在这里,这一些技巧,稍后将展开)

np.add.at(dW, x, dout) gives 
 [ [16 20]
   [ 2  2] ]

为什么呢?程序是:

将[1,2]添加到dW的第一行,即[0,0]。

为什么第一排?因为x [0,0] = 0,表示第一行dW,dW [0] = dW [0,:] =第一行。

然后将[3,4]添加到dW [0,0]的第一行。 [3,4] = DOUT [0,1 ,:]。 再次[0,0]来自dW,x [0,1] = 0,仍然是dW [0]的第一行。

然后将[5,6]添加到dW的第一行。

然后将[7,8]添加到dW的第一行。

结果是[1 + 3 + 5 + 7,2 + 4 + 6 + 8] = [16,20]。因为我们不接触dW的第二排。 dW的第二行保持不变。

诀窍是我们只计算一次原始行,可以认为没有缓冲区,并且每一步都在原始位置播放。