我是Tint的主要开发者,Tint是意大利语的NLP工具,主要基于Stanford CoreNLP。我正在更新到3.9.1版,但我注意到有一个名为IsNewlineAnnotation
的新注释。
由于我找不到任何关于它的文档(并且它打破了其他注释器,因为NER需要它),我查看了源代码。
根据我的理解,它是一种用于标记换行符的新型令牌(CoreLabel
)。我是对的吗?
我在包含换行符的文本上运行CoreNLP(英文),但结果与前一个相同。我在每个令牌上都调用了isNewLine()
,但没有一个是true
。
有什么地方可以理解这个新功能吗?是否会通过添加真实令牌来标记换行符?这是否意味着计数令牌(例如使用annotation.get(CoreAnnotations.TokensAnnotation.class).size()
)将给出一个与"真实"无关的数字。令牌?