MALLET标记器

时间:2010-09-17 09:25:59

标签: nlp tokenize

您好我想使用MALLET的主题建模,但是当我将数据导入到槌中时,我可以提供自己的令牌化程序或文本文档的标记化版本吗?我觉得MALLET的tokenizer不适合我的使用......

1 个答案:

答案 0 :(得分:1)

好的,我明白了。只需将我自己的默认标记生成器替换为串行管道,并将其添加到实例列表中。