word2vec实现增加男性/女性和单数/复数问题

Question

我想知道你是否知道任何word2vec实现，考虑到汽车和汽车代表几乎相同的概念，或者lehrer和lehrerin（分别是男性和女性教师的德语）几乎相同。我看到的实现很大程度上忽略了这个事实，因此结果的质量很差。

提前谢谢。

Answer 1

去年，一些研究小组开始使用单词的字符序列来生成单词嵌入向量。有关示例，请参阅此文章“Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation”。还有一篇早期论文“Compositional Morphology for Word Representations and Language Modelling”专门使用模型形态差异，如单数和复数单词形式之间的差异。

我不知道这些类型的模型的任何开源实现。