标签: nlp tokenize huggingface-transformers bert-language-model
我试图了解HuggingFace库中RoBERTa模型的标记器中的merge.txt文件是什么。但是,他们的网站上对此没有任何评论。任何帮助表示赞赏。
答案 0 :(得分:1)
您可以在此处找到说明:
https://github.com/huggingface/transformers/issues/4777
https://github.com/huggingface/transformers/issues/1083#issuecomment-524303077