微调BERT以使用其他变量进行分类

Question

我正在使用HF的变压器（准确地说是transformers.BertForSequenceClassification）对BERT进行分类任务调整。

我想知道是否有一种简单的（或任何一种）方法来用其他变量来丰富此线性层分类器，这些变量不一定是文本（否则在标记时会丢失其建模值）。

HF的文档和常规的Google研究都对我没有太大帮助。由于我是NN的新手，所以我真的不知道该从哪里开始。感谢您提供任何提示。