如何在张量流中的特定维度进行matmul运算

Question

我有一个3D张量（sequence_length，batch_size，word_dim），我需要用＆＃34; word_dim＆＃34;进行matmul操作。维度，以便我可以将张量更改为（sequence_length，batch_size，hidden_​​dim）。似乎matmul操作只能用于2D张量。由于＆＃34; batch_size＆＃34;我无法将3D张量更改为2D。我该怎么办？

Answer 1

我首先将您的Tensor重塑为（sequence_length * batch_size，word_dim），然后执行matmul以获取（sequence_length * batch_size，hidden_​​dim），然后再次重塑为获取（sequence_length，batch_size，hidden_​​dim）。 reshape（）不涉及复制，如果你只有一个矩阵可以将它们相乘，这相当于将每个batch_size矩阵相乘。