火炬扩展无法训练吗？

Question

我有一个序列模型，我想将同一小块嵌入到输入中。具体来说，看起来像

如果原始嵌入为ABCDEFG，则预期嵌入为

A B C D E F G

X X X X X X X

从编码方面来说，就像这样：

embed_0_out = embed_0(input_0) # sequence input
embed_1_out = embed_1(input_1) # single input

embed_combined_out = torch.cat([embed_0_out, embed_1_out.unsqueeze(1).expand(batch_size, input_0_len, 10)], 2))

但是，embed_1的权重似乎在每次迭代后都没有改变，这表明它是不可训练的。因此，有什么方法使其可培训吗？