如何在Fastai学习者语言模型中从编码器获取句子嵌入

Question

我能够使用快速AI来微调语言模型。我想从微调模型中提取句子嵌入，以实现句子相似性。如何获得编码器模型嵌入？还可以将嵌入与点积进行比较，就像其他模型（例如USE）中的其他嵌入一样吗？

data_lm = TextLMDataBunch.from_df(train_df = se1, valid_df = se2, path = "",text_cols='text')
learn = language_model_learner(data_lm,drop_mult=0.7,pretrained=True,arch=AWD_LSTM)
learn.fit_one_cycle(3, 1e-01)

我的代码位于上方，如何从学习中获取编码？

Answer 1

这应该给您编码器（是一个嵌入层）：

learn.model[0].encoder