CNN：从word2vec初始化未知单词

Question

我偶然发现了这些幻灯片，来自Kim的CNN使用word2vec的演示： http://www.people.fas.harvard.edu/~yoonkim/data/Kim_EMNLP_2014_slides.pdf

在幻灯片20上，第四个要点是：

Words not in word2vec are initialized randomly from U[−a, a] 
where a is chosen such that the unknown words have the
same variance as words already in word2vec.

现在我想知道如何计算“a”以及如何计算整个未知单词的整个向量。

Answer 1

根据Mikolov本人的answer，您可以根据不常用词所描述的空间初始化矢量。在他的回答中，他提到你应该对不频繁的单词进行平均，并以这种方式建立未知的标记。

跟进这个想法，我认为 a 指的是不常用词空间的半径。你可以做的是得到不常见的单词的质心 C （通过平均值），计算不常见的向量空间的 2 * a Q ，并通过位于 Q 内的均匀分布的样本生成随机向量 u 。