在nce_loss中使用了什么激活函数？

Question

我坚持使用nce_loss模型中的word2vec激活功能。我想弄清楚它在所有列出的here中使用了什么激活功能：

  

这些包括平滑的非线性（sigmoid，tanh，elu，softplus，   和softsign），连续但不是到处都是可区分的功能   （relu，relu6，crelu和relu_x），以及随机正则化（辍学）。

我在this function和其他地方搜索过它，但没有得到任何想法。 我想这是relu *系列。有什么提示吗？

Answer 1

没有一个。它使用CrossEntropy。