word2vec,g手套和elmo有什么区别?

时间:2019-06-18 08:01:54

标签: nlp word2vec word-embedding glove elmo

word2vec,g手套和elmo有什么区别?根据我的理解,它们都用于训练单词嵌入,对吗?

1 个答案:

答案 0 :(得分:1)

**是的,它们都是训练单词嵌入的两种方式。它们都提供相同的核心输出:每个单词一个向量,向量以一种有用的排列方式排列-相对距离/方向大致与我们的整体单词相关性甚至在某些显着语义维度上的相关性相对应。

Word2Vec通过反复迭代训练语料库来进行神经网络的增量,“稀疏”训练。

GloVe可以使向量拟合以对从语料库构建的巨型单词共现矩阵建模。

使用相同的语料库,创建相同维数的词向量,并将相同的注意力投入元优化,它们产生的词向量的质量将大致相似。 (当我看到某个人自信地声称一个或另一个肯定更好时,他们经常将一种算法的某些调整/最佳使用与另一种粗略/任意的默认进行比较。)

我对Word2Vec更加熟悉,我的印象是Word2Vec的训练可以更好地扩展到更大的词汇量,并且具有更多可调整的设置,如果您有时间的话,可以使自己训练有素的单词向量更适合您的特定需求应用。

除非将它们相互比较,否则您可能不会使用这两者,因为它们在单词向量的任何下游应用中都扮演着相同的角色。**