在什么情况下,我将在`tf.nn.nce_loss`之上使用`tf.nn.sampled_softmax_loss`?

时间:2019-03-29 02:04:29

标签: python tensorflow nlp word2vec word-embedding

Tensorflow提供tf.nn.sampled_softmax_losstf.nn.nce_loss作为否定采样技术。 (更多信息here。)

在tensorflow github上的word2vec示例使用tf.nn.sampled_softmax_loss,而其官方文档页面使用tf.nn.nce_loss

在词嵌入文献中,它们始终使用NCE损失,并且从未采样softmax。有什么原因吗?采样的softmax似乎是防止对所有类应用softmax的更明显的解决方案,因此我认为NCE丢失肯定有一定的理由。

0 个答案:

没有答案