我怎样才能教NLP Splitter

Question

请给我指示： 我怎样才能教＃34;分裂器分裂这样的段落： 纸是7厘米。长度。画家的名字是什么？图片的大小是5厘米。 x 8厘米 分为3部分。 而不是默认情况下完成的5个部分： 1）纸张为7厘米。 2）长度。 3）画家的名字是什么？ 4）图片的大小是5厘米。 5）x 8 cm。 谢谢，Aryeh。

Answer 1

tokenizer完全基于规则，因此您可以为其添加自定义缩写。您必须修改PTBLexer.flex并使用JFlex重新编译它。

另请参阅“stanford corenlp, splitting sentences, abbreviation exceptions”。