文本分类的训练前BERT库

Question

我有一条推文，我正在尝试使用BERT进行分类。我已经使用我的语料库成功地对BERT进行了预培训，并且它已经生成了检查点文件。现在，我需要使用这个训练有素的新模型，并在其中添加更多层。 我尝试使用keras_bert的“ load_trained_model_from_checkpoint”功能，但由于“在检查点中找不到cls / predictions / transform / dense / kernel”错误而失败。谁能帮我解决这个错误。谢谢

Answer 1

在这个库中可能有一些关于如何使用基于预训练模型的预测的技巧，lazy-text-predict！它还可以帮助您实现一般的文本分类器。

text='my text to classify'
model=BertForSequenceClassification.from_pretrained('/content/bert-base-uncased_model')
tokenizer=BertTokenizerFast.from_pretrained('bert-base-uncased')
text_classification= transformers.pipeline('sentiment-analysis',
                                            model=model, 
                                            tokenizer=tokenizer)
y=text_classification(text)[0]
print(y)