isNewLine是斯坦福CoreNLP的新功能

时间:2018-03-13 09:43:28

标签: stanford-nlp

我是Tint的主要开发者,Tint是意大利语的NLP工具,主要基于Stanford CoreNLP。我正在更新到3.9.1版,但我注意到有一个名为IsNewlineAnnotation的新注释。

由于我找不到任何关于它的文档(并且它打破了其他注释器,因为NER需要它),我查看了源代码。 根据我的理解,它是一种用于标记换行符的新型令牌(CoreLabel)。我是对的吗?

我在包含换行符的文本上运行CoreNLP(英文),但结果与前一个相同。我在每个令牌上都调用了isNewLine(),但没有一个是true

有什么地方可以理解这个新功能吗?是否会通过添加真实令牌来标记换行符?这是否意味着计数令牌(例如使用annotation.get(CoreAnnotations.TokensAnnotation.class).size())将给出一个与"真实"无关的数字。令牌?

0 个答案:

没有答案