嵌入与循环神经网络

Question

我正在开展一个关于文本数据的研究项目（关于搜索引擎查询监督分类）。我已经实现了不同的方法，我也使用了不同的文本模型（例如我的词汇量的二进制向量 - 如果第i个单词出现在文本中则为1，否则为0 - 或者嵌入模型word2vec的单词）。

我的顾问告诉我，也许我们可以使用Recurrent Neural Network找到另一种查询表示。由于递归关系，这种表示应该考虑到文本中单词的顺序性。我已经阅读了一些关于RNN的文档，但我找不到任何有用的目标。我已经阅读了许多关于语言建模的东西（它预测了单词的概率），但我不明白我是如何调整这个模型以获得类似嵌入式向量的东西的。

非常感谢！

Answer 1

通常，如果想要从查询或利用RNN的句子中获取嵌入，则使用logits。 logits只是在完整句子/查询的正向传递之后网络的输出值。

logit值产生一个具有输出层维度的向量（即目标类的数量）：通常，它是词汇表，因为它们是从语言模型中提取的。

有关提示，请查看以下内容：

• http://arxiv.org/abs/1603.07012
• How does word2vec give one hot word vector from the embedding vector?

请注意，原则上人们也可以使用双向网络或在其他任务上训练过的网络，获得较小的嵌入，即使这最后一种选择有点花哨，而且据我所知还没有进行过探索。