将新的单词矢量嵌入添加到神经网络的现有嵌入空间有什么影响

时间:2017-08-03 23:05:03

标签: neural-network word2vec word-embedding

在Word2Vector中,单词嵌入是使用共现来学习的,并且更新了向量的维度,使得在彼此的上下文中出现的单词更加接近。

我的问题如下:

1)如果你已经有一套预先训练过的嵌入,假设有一个100维空间,有40k字,你可以在这个嵌入空间上添加10个额外的单词,而不需要改变现有的单词嵌入。因此,您只能使用现有的单词嵌入来更新新单词的维度。我正在考虑关于“word 2 vector”算法的这个问题,但是如果人们对GLoVe嵌入在这种情况下的工作方式有所了解,我仍然非常感兴趣。

2)问题的第2部分是;然后,您可以在使用先前嵌入集训练的NN中使用新单词嵌入,并期望合理的结果。例如,如果我已经训练过NN进行情绪分析,并且“紧张”这个词以前不在词汇表中,那么“紧张”就会被正确归类为“否定”。

这是一个关于NN对嵌入有多敏感(或强大)的问题。我很感激任何想法/见解/指导。

1 个答案:

答案 0 :(得分:2)

初始训练使用有关已知单词的信息将它们绘制在有用的N维空间中。

理论上,理论上可以使用关于新单词的新信息,在同一空间中给出它们的坐标。你会想要很多不同的新单词的例子与旧单词一起使用。

无论你是想冻结旧词的位置,还是让它们根据新的例子进入新的位置,都可能是一个重要的选择。如果您已经使用较旧的单词训练了预先存在的分类器(如情感分类器),并且不想重新训练该分类器,那么您可能想要锁定旧单词到位,并强制新单词进入兼容定位(即使较新的组合文本示例会改变旧单词的相对位置)。

由于在对新单词进行有效训练之后,它们通常应该接近相似意义的旧单词,因此期望处理旧单词的分类器仍然对新单词做一些有用的事情是合理的。但是,这种工作的好坏取决于很多事情,包括原始字集的覆盖范围是否覆盖了所有可推广的邻域'意义(如果新词带来的含义在旧词中没有例子,那么坐标空间的那个区域可能会变得贫穷,而且分类器可能从来没有一套好的区分例子,所以表现可能会滞后。)