CNN:从word2vec初始化未知单词

时间:2015-08-28 18:14:58

标签: convolution deep-learning word2vec

我偶然发现了这些幻灯片,来自Kim的CNN使用word2vec的演示: http://www.people.fas.harvard.edu/~yoonkim/data/Kim_EMNLP_2014_slides.pdf

在幻灯片20上,第四个要点是:

Words not in word2vec are initialized randomly from U[−a, a] 
where a is chosen such that the unknown words have the
same variance as words already in word2vec.

现在我想知道如何计算“a”以及如何计算整个未知单词的整个向量。

1 个答案:

答案 0 :(得分:6)

根据Mikolov本人的answer,您可以根据不常用词所描述的空间初始化矢量。在他的回答中,他提到你应该对不频繁的单词进行平均,并以这种方式建立未知的标记。

跟进这个想法,我认为 a 指的是不常用词空间的半径。你可以做的是得到不常见的单词的质心 C (通过平均值),计算不常见的向量空间的 2 * a Q ,并通过位于 Q 内的均匀分布的样本生成随机向量 u