word2vec模型如何与LSTM神经网络合作

Question

我想为短信输入的情感分类任务建立一个深度学习模型。我的想法是使用word2vec模型来创建单词的表示。然后使用LSTM网络模型对正面或负面进行分类。 我发现很难理解一些事情：

1. word2vec模型本身实际上代表了一个神经网络？ 我知道它可以用于预训练任务，但这个模型输出如何帮助分类任务？

2.我需要选择的功能数量是多少？我知道所选特征的数量代表隐藏层中神经元单元的数量。我如何将其纳入关于积极或消极情绪的网络学习中？

3.我想到的想法是创建一个单独的Word2vec模型，用于通过名词属性，形容词等表示单词......然后将矩阵权重插入到LSTM网络中。

这样的事情怎么办？我怎样才能最终获得概率向量表示消极或积极的消息？

Answer 1

1. Word2vec或字嵌入，因为它们通常被称为，也可以作为一个层作为更大网络的一部分。这就是你在这里做的事情。

2. 作为实验的起点，this PyTorch tutorial使用的隐藏大小为256。

3. 我不确定你的意思。通常，您只训练一次嵌入。

基本上，在看到句子的最后一个单词后，你只需要采用LSTM的隐藏状态，并使用以隐藏状态作为输入的密集层对句子进行分类。另请参阅this tutorial了解如何使用LSTM进行分类，尽管此处没有嵌入层（前一个链接确实有一个）。