tokenize - StanfordNLP Tokenizer

我使用StanfordNLP来标记用智能手机编写的一组消息。这些文本有很多拼写错误，不尊重标点规则。通常缺少影响标记化的空格。

例如，下面的句子错过了＃34;加利福尼亚州的空白。这个＆＃34;和＃34;大学，成立＆＃34;。

斯坦福大学位于加利福尼亚州。这所大学是一所伟大的大学，成立于1891年。

tokenizer返回：

{＆＃34; Stanford＆＃34;，＆＃34; University＆＃34;，＆＃34; is＆＃34;，＆＃34;位于＆＃34;，＆＃34;＆＃34;＆＃34; ;，＆＃34; California.This＆＃34; ，＆＃34; university＆＃34;，＆＃34;＆＃34;，＆＃34; a＆＃34;，＆＃34 ;伟大＆＃34;，＆＃34;大学＆＃34;，＆＃34;，＆＃34;，＆＃34;成立＆＃34;，＆＃34;在＆＃34;，＆＃34; 1891＆＃34;，＆＃34;。＆＃34;}

如所观察到的那样，他们将所有代币分开，但是＆＃34;加利福尼亚州。这个＆＃34; （我希望有三个代币{＆＃34;加利福尼亚＆＃34;＆＃34;。＆＃34;＆＃34;这＆＃34;}）。我看了一下标记化规则，我观察到单词的正则表达式接受了单词中句子末尾使用的标点符号。

WORD = {LETTER}（{LETTER} | {DIGIT}）（[。！] {LETTER}（{LETTER} | {DIGIT}））*

我删除了最后一部分并重新编译，但令牌化程序仍然没有改变它的行为。

有人知道如何避免这种不受欢迎的行为吗？或者有人，可以指出另一个与这类文本一起使用的标记器吗？

StanfordNLP Tokenizer

1 个答案: