如何将word2vec和RNN一起用于NLP?

时间:2018-08-23 21:29:43

标签: machine-learning nlp deep-learning word2vec rnn

我最近研究并了解了word2vec的工作原理,它负责将单词转换为数字形式,因此当我们将它们绘制或放置到世界空间中时,它们将被传播并揭示每个单词与单词之间的关系。其他。

我在这里的问题,我也发现RNNs,突然间我感到困惑。是word2vec替代RNNs还是我可以使用word2vec将单词转换为数字形式然后在RNNs上使用它们?

我的意思是他们两个都预测下一个单词,所以我想知道它们是否是解决同一问题的不同方法,或者我可以将它们一起使用吗?

注意::我完成了计算机视觉并开始了NLP的学习,所以请不要对我刚刚开始的问题做出判断。

1 个答案:

答案 0 :(得分:0)

您不清楚word2vec的含义。 word2vec是多维空间中单词的表示,而RNNLinear Regressionrandom forestlogistic regression之类的算法。 word2vec不会预测接下来的单词。这是word2vec的简短说明:

使用三个词:appleorangecar。假设它们在word2vec中表示为:

apple = [0.01, 0.04 ...] orange = [0.02, 0.06 ...] car = [0.03, 0.09 ...]

现在您知道appleorange彼此相似,而car却不相似。因此,如果您采用appleorange的点积,则结果值将接近1,说它是0.85,但是如果您采用{ {1}}和apple,结果将远远不是car说它是1。这就是0.25的概念。它以数字形式为您提供单词的矢量表示,以使相似的单词在图中保持彼此靠近。

现在,word2vec就像我说的那样,它是一种算法。您将向其中输入一些数值数据,它将为您提供一些输出。您需要从一些在线教程中详细学习RNN

要回答有关如何一起使用它们的问题,RNN采用数字输入。它不能直接接受英语单词。因此,我们需要将所有单词转换为某种数字形式。这就是RNN出现的地方。您接受每个单词,并从word2vec获得其数字表示形式(如我上面显示的word2vecappleorange所示),然后将其输入car

这只是一个简单的概述,不可能在这里解释所有内容。如果您真的想学习更多,那么我强烈建议您选修this课程。从RNNword2vec的所有内容都在此进行了详细说明。如果您在那里完成整个专业课程,而不是只完成本课程,那就更好了。