.lower()是否应应用于单词嵌入(尤其是德语)?

时间:2019-12-09 14:42:41

标签: nlp spacy word-embedding fasttext

我注意到,在预训练的嵌入中,例如fastText和spaCy,单词向量根据我是否将首字母大写而有所不同。这是否意味着在这些嵌入中考虑了大写字母还是在处理之前.lower()还是最好的选择?

尤其是我对诸如德语模式之类的模型感兴趣,在该模型中,大写字母起着进一步的作用,这与英语不同,多数情况下,所有NER单词都不大写。

0 个答案:

没有答案