自制令牌化与摩西

时间：2019-05-21 02:37:06

标签： python-3.x nlp tokenize

我正在尝试使用Word2Vec构建Word嵌入。我想知道使用自制令牌生成器（例如，将所有单词都用小写并删除标点符号）与摩西相比有什么优缺点？

0 个答案:

没有答案
相关问题
最新问题