通过Hugging Face的变压器管道获得实体位置

时间:2020-08-31 14:01:23

标签: python tokenize ner huggingface-transformers huggingface-tokenizers

我正在使用Hugging Face的管道来对长文本执行NER(命名为实体识别)。 但是,在通过管道处理了文本之后,我无法获得实体位置(偏移)。

post提供了有关如何获取文本实体的一些线索,但未提供实体在原始文本中的位置。

代码段:

-webkit-overflow-scrolling: touch;

输出:

from transformers import pipeline
ner = pipeline('ner', grouped_entities=True)
sentence = "Obama has visited Milton-Freewater yesterday"
for token in ner(sentence): 
    print(token) 

我理想的位置是:

{'entity_group': 'I-PER', 'score': 0.9959654808044434, 'word': 'Obama'}
{'entity_group': 'I-ORG', 'score': 0.536281406879425, 'word': 'Milton'}
{'entity_group': 'I-LOC', 'score': 0.5545264780521393, 'word': 'Freewater'}
{'entity_group': 'I-LOC', 'score': 0.5545264780521393, 'word': 'Freewater'}

如何从管道的输出中获取实体位置?

0 个答案:

没有答案