Question

如何使用1000个不同的（8,16）权重矩阵将8个元素向量中的100个转换为10个16个元素向量？ 10个输出向量中的每一个都是100个点积的总和：

A = np.random.randn(100,8)
W = np.random.randn(1000,8,16)
B = []

for i in range(10):
  sum = np.zeros((1,16))
  for j in range(100):
    sum += np.dot(A[j], W[i*100+j])   
  B.append(sum)
B = np.asarray(B)     #B.shape=(10,16)

Numpy或TensorFlow中有功能吗？我在Numpy看了一下dot，tensordot，einsum和matmul，我仍然不确定哪一个是正确的选择。

编辑：我刚刚意识到我实际上想要在对点积相加之前产生中间结果：（100,8）x（10,100,8,16） - ＆gt; （10,100,16）。

我猜这可以通过重塑（100,8）到（1,100,1,8）和（1000,8,16）到（10,100,8,16）以及做np.einsum('ijkl,ijlm->ijm', A, B)来完成但我不确定它是否会正确播放1到10个。

根据@Divakar评论，np.einsum('jk,ijkl->ijl', V, W.reshape(10,100,8,16))可以解决问题。

Answer 1

在一行中，它是

B1 = np.einsum('ij,ikjl', A, np.reshape(W, (100, 10, 8, 16), order='F'))

使用您需要np.allclose(B.squeeze(), B1)的{{1}}对其进行测试，因为您的B尺寸为1。

说明：你的W形状很丑，它的第一个大小为1000的尺寸应该在10个100大小的块中分开（因为你实际上在循环中使用索引操作）。这就是重塑的目的。需要Fortran样式的顺序，因为我们希望通过最快地更改第一个索引来取出W的元素。

之后它是直接的爱因斯坦求和：在j上有矩阵乘法，在i上加上100个结果。

Answer 2

您可以使用基于张量的乘法np.tensordot -

def tensordot_app(A, W):
    m,n,r = W.shape
    Wr = W.reshape(-1,A.shape[0],n,r)
    return np.tensordot(A,Wr, axes=((0,1),(1,2)))

Related post to understand tensordot

运行时测试 -

In [62]: A = np.random.randn(100,8)
    ...: W = np.random.randn(1000,8,16)

In [63]: %%timeit 
    ...: B = []
    ...: for i in range(10):
    ...:   sum = np.zeros((1,16))
    ...:   for j in range(100):
    ...:     sum += np.dot(A[j], W[i*100+j])   
    ...:   B.append(sum)
    ...: B = np.asarray(B)     #B.shape=(10,16)
1000 loops, best of 3: 1.81 ms per loop

# Other post's einsum soln
In [64]: %timeit np.einsum('ij,ikjl',A,np.reshape(W,(100,10,8,16), order='F'))
10000 loops, best of 3: 83.4 µs per loop

# Other post's einsum soln without fortran re-ordering
In [65]: %timeit np.einsum('jk,ijkl', A, np.reshape(W, (10, 100, 8, 16)))
10000 loops, best of 3: 83.3 µs per loop

In [66]: %timeit tensordot_app(A, W)
10000 loops, best of 3: 193 µs per loop

点积的总和

2 个答案: