使用负采样进行词嵌入

时间:2019-08-15 11:08:49

标签: python word2vec

我想用负采样为word2vec编写代码。我将伪代码放在下面

  1. 每行为“上下文”和“目标”词添加一个热向量。 这意味着每个示例都有2个,其余全部为0。
  2. 在语料库中的“上下文”和“目标”样本中,y为1。     否则y为0。对于每个正向的“上下文”和“目标”样本,     有K(= 4)个阴性样本。
  3. 至此,我创建了一个神经网络,其中包含RELU和     乙状结肠激活功能,以获取“嵌入”一词。

在此之后,我觉得嵌入一词不正确。

我的方法有什么问题吗?

任何帮助将不胜感激

谢谢

Sachin Gupta

0 个答案:

没有答案