有没有办法增加预训练词嵌入的维数？

Question

我几乎刚刚接触过NLP研究，并且苦苦挣扎于NLP和NLP中使用的机器学习技术。

我现在要解决的问题是，是否有某种方法可以将预先训练的单词嵌入（例如GloVe嵌入）的维数从固定大小100增加到512？

我问这样一个问题的原因是，我使用这些嵌入来训练预定义维度为100的RNN网络。现在，我切换到了自我关注机制（Transformers），该模型对以下内容高度敏感训练参数。因此，我想知道是否可以（例如，使用感知器或MLP）将100d嵌入转换为具有512d的新空间。

我先在这里搜索过，但最终没有找到可靠的消息来源。

Answer 1

我了解到您想将100d嵌入到采用尺寸为512的输入的网络中。为此，您需要将嵌入向量投影到更高的维度。您可以使用一个简单的前馈/线性图层，该图层接受大小为100的输入。使该图层的隐藏大小为所需大小，在这种情况下为512。另外，请注意，这应该是整个网络中正在训练的一部分，即前馈层应该是可训练的。