经过一些训练步骤后，word2vec 嵌入输出 Nan

Question

当我在我的模型中得到一个预训练的 word2vec 嵌入时，嵌入将在一些步骤后输出 Nan 值。我尝试关闭 lr，但它没有解决它。如果我放弃加载 word2vec 嵌入，或者使用 word2vec 嵌入更改另一个模型，就可以了。有人知道原因吗？

编辑 1：感谢您的 gojomo 评论。我已经找到原因了。这不是嵌入错误。我在嵌入后面写了一个注意力层，当嵌入通过注意力的线性时发生 Nan。然后我会尝试用线性层解决Nan。