Pytorch或Tensorflow的通用变量名首字母缩写？

Question

我在pytorch示例github repo中看到了像ninp（num_input），nhid（num_hidden），emsize（嵌入大小）之类的var名称。其他一些常见的缩写词及其含义/上下文是什么？

Answer 1

这些是序列模型中常用的术语（例如RNN，LSTM，GRU等），下面是这些术语的含义的描述：

ninp (num_input)：嵌入矩阵中向量的维数
emsize (embedding size)：嵌入矩阵中向量的维数
 nhid (num_hidden)：我们希望每个隐藏层中有多少个“隐藏”单元

图片说明可能有助于更好地理解它。下面是一个很好的例证。 （来源：基利安·莱瓦彻）

在上图emsize中，是嵌入大小（即嵌入向量的维数）。这取决于模型架构，但是大多数人会使用300之类的东西。

---

在上图中，每个“隐藏”层中都有五个神经元。因此，nhid的值为5。输出层的维数将等于词汇表的大小，以便在词汇表中的所有标记上生成概率分布。