Word2vec丢失功能爆炸

Question

我正在使用tensorflow教程中的basic word2vec脚本。

我在大约100M的文本文件上运行它并且它开始很好，但是一段时间之后损失函数会爆炸。

我想更好地了解在使用负抽样时如何发生这种情况。您认为我的数据集太小或者某些内部属性是否已关闭？

Answer 1

根据我的经验，当学习率太高时会发生这种情况。我尝试了不同的值，如果学习率是> 1.0这发生在我用skip-gram和＆gt; 0.5用cbow。