我已经按照本教程使用 BERT 从 Hugging Face 进行了掩码语言建模,但我不确定如何实际部署该模型。
教程:https://github.com/huggingface/notebooks/blob/master/examples/language_modeling.ipynb
我已经使用自己的数据集训练了模型,效果很好,但我不知道如何实际使用模型,遗憾的是,笔记本中没有包含如何执行此操作的示例。
Example of what I want to do with my trained model
在Hugging Face网站上,这是示例中使用的代码;因此,我想用我的模型做这件事:
>>> from transformers import pipeline
>>> unmasker = pipeline('fill-mask', model='bert-base-uncased')
>>> unmasker("Hello I'm a [MASK] model.")
[{'sequence': "[CLS] hello i'm a fashion model. [SEP]",
'score': 0.1073106899857521,
'token': 4827,
'token_str': 'fashion'},
{'sequence': "[CLS] hello i'm a role model. [SEP]",
'score': 0.08774490654468536,
'token': 2535,
'token_str': 'role'},
{'sequence': "[CLS] hello i'm a new model. [SEP]",
'score': 0.05338378623127937,
'token': 2047,
'token_str': 'new'},
{'sequence': "[CLS] hello i'm a super model. [SEP]",
'score': 0.04667217284440994,
'token': 3565,
'token_str': 'super'},
{'sequence': "[CLS] hello i'm a fine model. [SEP]",
'score': 0.027095865458250046,
'token': 2986,
'token_str': 'fine'}
任何有关如何执行此操作的帮助都会很棒。
答案 0 :(得分:0)
这在很大程度上取决于您的任务。您的任务似乎是屏蔽语言建模,即预测一个或多个屏蔽词:
今天我吃了___。
(pizza) 或 (pasta) 可能同样正确,因此您不能使用 accuray 等指标。但是(水)应该不如其他两个“正确”。 因此,您通常会在评估数据集上检查语言模型的“惊讶程度”。该指标称为 perplexity。 因此,在您对特定数据集上的模型进行微调之前和之后,您会计算困惑度,并且您会期望在微调后它会更低。该模型应该更多地用于您的特定词汇等。这就是您测试模型的方式。
如您所见,他们计算了您提到的教程中的困惑度:
import math
eval_results = trainer.evaluate()
print(f"Perplexity: {math.exp(eval_results['eval_loss']):.2f}")
要预测样本,您需要标记这些样本并为模型准备输入。 Fill-mask-Pipeline 可以为您做到这一点:
# if you trained your model on gpu you need to add this line:
trainer.model.to('cpu')
unmasker = pipeline('fill-mask', model=trainer.model, tokenizer=tokenizer)
unmasker("today I ate <mask>")
结果如下:
[{'score': 0.23618391156196594,
'sequence': 'today I ate it.',
'token': 24,
'token_str': ' it'},
{'score': 0.03940323367714882,
'sequence': 'today I ate breakfast.',
'token': 7080,
'token_str': ' breakfast'},
{'score': 0.033759087324142456,
'sequence': 'today I ate lunch.',
'token': 4592,
'token_str': ' lunch'},
{'score': 0.025962186977267265,
'sequence': 'today I ate pizza.',
'token': 9366,
'token_str': ' pizza'},
{'score': 0.01913984678685665,
'sequence': 'today I ate them.',
'token': 106,
'token_str': ' them'}]