加载均匀的预训练BERT层进行分类

时间:2020-03-08 11:08:34

标签: machine-learning deep-learning huggingface-transformers

我正在使用HuggingFace的转换器库。据我所知,更改配置文件中的隐藏层数会导致加载预训练的BERT的前x层。我想加载预训练的BERT的偶数层(或最后x层),然后对其进行微调以进行分类任务。

可以在此处找到分类任务的示例:run_glue.py

预先感谢

0 个答案:

没有答案