构造skip-gram输入向量

Question

我正在按照教程here来实现word2vec，我不确定我是否理解了如何构造skip-gram输入向量。

这是我感到困惑的部分。我以为我们没有在word2vec中进行单热编码。

例如，如果我们有两个句子＆＃34;狗喜欢猫和＃34;猫喜欢狗和＃34;或者一些信息更丰富的句子，输入矢量会是什么样子？谢谢。

Answer 1

Skip-gram尝试做的主要是训练一个模型，该模型根据中心词预测其上下文单词。

带上像猫一样的狗＆＃39;例如，假设窗口大小为3，这意味着我们将使用中心词（＆＃34;喜欢＆＃34;）来预测一个词之前＆＃34;喜欢＆＃34; ＆＃34;喜欢＆＃34;之后的一个词（这里的正确答案是＆＃34;狗＆＃34;和＃34;猫＆＃34;）。 所以这个句子的输入向量将是一个热矢量，其中第k个元素为1（假设＆＃34;喜欢＆＃34;是你词典中的第k个单词）。