在火炬中，我如何在训练时间内修复预训练的嵌入？

Question

我正在尝试在预先训练过的单词嵌入上训练RNN。 假设这些预先训练的嵌入保存在矩阵E中，我可以使用它来初始化LookupTable：

login_model

如何强制模型在训练期间保持这些嵌入固定？

Answer 1

也许有两种可能性：

1. 在每个小批量迭代中强制此图层的权重保持为1

2. 通过扩展nn.LookupTable并覆盖updateOutput来实现您自己的查找表，以便不更新权重。