Pytorch嵌入层中使用的默认权重初始化是什么？

Question

当我们使用类torch.nn.Embedding创建嵌入层时，权重如何初始化？

默认情况下是否使用统一，常规或初始化技术，例如 He 或 Xavier ？

Answer 1

默认情况下，在Embedding中，权重是从正态分布初始化的。您可以通过reset_parameters()方法进行检查：

def reset_parameters(self):
        init.normal_(self.weight)
        ...