使用Spacy和ner.manual计算自定义命名实体识别(NER)模型的所有度量

时间:2019-10-14 11:52:48

标签: python spacy ner

我制作了一个spacy(2.1.8)模型,该模型适用于某些标签,例如数据,时间,坐标,星星...

enter image description here

现在,我想使用spacy查看与每个实体相关的所有指标。像这样

<div style="display: block;width: 100%!important;height: 200px;padding: 5px;background-color:yellow;background-image:linear-gradient(#c2aa00,#de490f); "> </div>

我注意到我可以使用Scorer:

https://spacy.io/api/scorer

我写这样的东西


           precision    recall  f1-score   support

  B-LOC      0.810     0.784     0.797      1084
  I-LOC      0.690     0.637     0.662       325
 B-MISC      0.731     0.569     0.640       339
 I-MISC      0.699     0.589     0.639       557
  B-ORG      0.807     0.832     0.820      1400
  I-ORG      0.852     0.786     0.818      1104
  B-PER      0.850     0.884     0.867       735
  I-PER      0.893     0.943     0.917       634

但是我不知道如何在文本中创建“ docs-golds”?我拥有JsonL格式的数据,并且还在笔记本中以文本形式读取了数据,然后将我的模型用于NER

scorer = nlp.evaluate(docs_golds, verbose=True)
print(scorer.scores)

您是否知道如何解决这个问题?通常,您建议使用什么方法来证明我的模型的性能(我有精度),但是对于完成任务而言,精度当然还不够?

我已经读过

is there a way with spaCy's NER to calculate metrics per entity type?

但是我想凭空做。似乎在spacy 2中是可能的

0 个答案:

没有答案