有没有办法找到结束令牌

时间:2019-06-11 17:37:22

标签: python nlp token spacy

我正在尝试查找令牌是否是Spacy文档中的最后一个令牌。我不想遍历文档,但是需要根据令牌的位置检查令牌是否为最后一个令牌。有办法吗?

2 个答案:

答案 0 :(得分:1)

您可以将其与spaCy Doc的长度进行比较。例如。让我们打印所有标记及其索引,并指出何时是最后一个。

import spacy

str = "the big brown fox"
nlp = spacy.load("en_core_web_sm")
doc = nlp(str)

for i, t in enumerate(doc):
    print("{}{}: {}".format(i, " and last" if i == len(doc) - 1 else "", t.text))

结果:

0: the
1: big
2: brown
3 and last: fox

答案 1 :(得分:0)

test_str = "which string is the last"
doc = nlp(test_str)
doc[len(doc)-1:len(doc)]