使用Word2Vec解决多义问题

Question

我对Word2Vec有一些疑问：

1. 什么决定结果模型向量的维？

2. 该向量的元素是什么？

3. 如果我已经掌握了单词的每种含义的文本，可以使用Word2Vec来解决多义性问题（状态=管理单位vs状态=条件）吗？

Answer 1

（1）选择所需的维数作为模型的元参数。时间充裕的严格项目可能会尝试不同的规模，以了解哪种方法最适合其定性评估。

（2）在普通word2vec中，每个单词向量（浮点数）的单个维/元素不容易解释。只有作为整体的单词排列才有用–将相似的单词彼此靠近放置，并使相对方向（例如，从“国王”向“女王”迈向“女王”）与人类对类别/连续属性的直觉相匹配。而且，由于算法使用显式随机化，并且优化的多线程操作将线程调度的随机性引入了训练顺序示例，因此即使是完全相同的数据也可能导致运行时的向量坐标不同（但效果都一样好）运行。

（3）基本的word2vec修复起来并不容易，但是向量中有一堆多义性的暗示，并且研究工作正在做更多工作来消除对比感。

例如，通常来说，多义词的词缀与词向量结合在一起，这些词向量是其多种意义的组合，并且（通常）比多义词的词的幅值更小。

此early paper使用每个单词多个表示形式来帮助发现多义性。后来类似this one之类的类似论文也使用上下文聚类来发现多义词，然后重新标记它们以赋予每种感觉自己的向量。

This paper通过对正常word2vec向量进行后处理来完成检测替代感官的出色工作。