最近，我正在了解神经网络中嵌入层的理想。到目前为止我发现的最好的解释是here那里的解释很好地解决了为什么使用嵌入层及其工作原理的核心概念。
它还提到我们的嵌入会将类似的单词映射到类似的区域。因此，嵌入表示的质量与原始空间中的一组相似表示在嵌入空间中的接近程度或相似程度。但我真的没有理解如何去做。
我的问题是，如何设计权重矩阵以获得针对特定数据集定制的更好的嵌入表示？
任何暗示对我都有帮助！ 谢谢大家！
答案 0 :(得分：1)
假设您了解神经网络和Word2Vec的一些概念，我会尝试简要解释一下。
1，嵌入层中的权重矩阵通常被随机初始化，就像其他类型的神经网络层中的权重一样。
2，嵌入层中的权重矩阵将稀疏输入转换为密集向量，如您提到的帖子中所述。
3，可以在训练过程中使用沿反向传播的数据集更新嵌入层中的权重矩阵。
因此，在训练之后，学习的权重矩阵应该可以更好地表示您的特定数据。就像嵌入字的工作原理一样，更多数据通常会在嵌入层中产生更好的表示。另一个因素是维度的数量（一般来说，维度越高，模型必须学习特征表示的自由度越大）。