具有附加数值特征的预训练 bert 模型

时间:2020-12-28 10:07:53

标签: nlp pytorch bert-language-model huggingface-transformers transfer-learning

我需要一个使用现有 bert 模型的建议,该模型已针对句子分类进行了预训练。

现有模型接受以下形式的文本:“ClC1=CC=CC(Cl)=C1C=O.ClC1=CC=CC(Cl)”,例如化学反应。现在要增强模型,我可以使用连续值(例如时间和温度)作为特征来在我的数据集上重新训练模型。

我的想法是使用集成方法,其中我采用现有 bert 模型的最后一层输出值,创建另一个模型以仅接受连续变量并以类似于此链接的集成方法连接它们:组合训练模型在 PyTorch 中

任何替代方法或建议?或用作此实现资源的链接

我使用 pytorch 和 Huggingface Transformers 库

谢谢 Rahul Raj Devaraja

0 个答案:

没有答案